关于python爬虫的小论文_Python爬虫经常爬不到数据，或许你可以看一下小编的这篇文章！...

前言：近期，通过做了一些小的项目，觉得对于Python爬虫有了一定的了解，于是，就对于Python爬虫爬取数据做了一个小小的总结，希望大家喜欢！

1.最简单的Python爬虫

最简单的Python爬虫莫过于直接使用urllib.request.urlopen(url=某网站)或者requests.get(url=某网站)

例如：爬取漫客栈里面的漫画

文章链接：运用Python爬虫下载漫客栈里面的漫画

​

代码和运行结果：

​

这是最简单也是最基础的Python爬虫.

2.需要添加headers的Python爬虫

有的网址爬取数据需要添加User-Sgent、Cookie等字段信息，这个时候我们需要添加一个请求头，也就是一个字典，User-Sgent、Cookie等字段信息就放这里面。

如：运用Python爬虫下载表情包

文章链接：运用Python爬虫下载表情包

没加请求头

​

加上请求头：

​

是不是加与没加，就有很大的区别.

3.所爬取的数据在NetWork里面

有个时候，我们所爬取的数据添加请求头之后，也爬取不到，这个时候，我们就需要想一想NetWork，下面有XHR和JS，也许所需要数据就在这两个其中的一个里面。

如：爬取王者荣耀英雄皮肤

爬取王者荣耀英雄皮肤