python爬取豆瓣网站TOP250

1.对豆瓣网页进行分析

使用谷歌浏览器，找到网页代码，查看请求头的信息

需要注意的是，我们要爬取的页面数据文件是top250这个文件，判断需要从哪个包中提取数据可以在响应里看到：

我们可以试着向豆瓣发送请求：

import requests
 
# 发请求测试
response = requests.get('https://movie.douban.com/top250')
print(response)

响应结果如下：

状态码是418，意思是服务器拒绝了我们的请求。这是因为服务器没有识别到我们是用户端，所以为了保证网站数据的安全，将我们拒之门外。那么我们就需要对自己进行一些简单的伪装。

UA（user-agent）伪装，是我本次采用的伪装策略，也是最简单的伪装策略，有些网站的反爬机制比较复杂，则需要采用更加复杂的反反爬机制来进行伪装，不过，对于豆瓣来说，UA伪装就够用了。

那么我们现在给我们的请求带一个请求头，并且请求头中带一个User-agent信息，这个信息可以在检查页面的请求头信息（Headers）里找到，如下所示：

现在我们将它加入到我们的代码中：

imp