前言:近期,通过做了一些小的项目,觉得对于Python爬虫有了一定的了解,于是,就对于Python爬虫爬取数据做了一个小小的总结,希望大家喜欢!
1.最简单的Python爬虫
最简单的Python爬虫莫过于直接使用urllib.request.urlopen(url=某网站)或者requests.get(url=某网站)
例如:爬取漫客栈里面的漫画
文章链接:运用Python爬虫下载漫客栈里面的漫画
代码和运行结果:
这是最简单也是最基础的Python爬虫.
2.需要添加headers的Python爬虫
有的网址爬取数据需要添加User-Sgent、Cookie等字段信息,这个时候我们需要添加一个请求头,也就是一个字典,User-Sgent、Cookie等字段信息就放这里面。
如:运用Python爬虫下载表情包
文章链接:运用Python爬虫下载表情包
没加请求头
加上请求头:
是不是加与没加,就有很大的区别.
3.所爬取的数据在NetWork里面
有个时候,我们所爬取的数据添加请求头之后,也爬取不到,这个时候,我们就需要想一想NetWork,下面有XHR和JS,也许所需要数据就在这两个其中的一个里面。
如:爬取王者荣耀英雄皮肤
爬取王者荣耀英雄皮肤