python爬取豆瓣top250

最新推荐文章于 2024-06-24 15:49:09 发布

xuni2975504151

最新推荐文章于 2024-06-24 15:49:09 发布

阅读量330

点赞数

分类专栏：爬虫实战文章标签： python 正则表达式 xpath

本文链接：https://blog.csdn.net/weixin_47019861/article/details/105496162

版权

本文介绍了如何使用Python爬取豆瓣Top250电影信息，包括分析网页结构，设置请求代理，利用XPath提取数据，正则表达式匹配关键字段，并将数据保存到CSV文件。详细讲解了每个步骤，包括代码实现。

摘要由CSDN通过智能技术生成

《python爬取豆瓣》

1、分析网页

分析网页规则，网页一共10页，每一页间隔25
在这里插入图片描述
需要写一个for循环，生成从0到225的数字即可，必须要取超过停止数据225，故写成for page in range(0, 226, 25)

在这里插入图片描述

在这里插入图片描述
设置的浏览器必须是一个字典，格式如下

xheaders={
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36'
}

向服务器发出请求，请求成功返回200，

reponse = requests.get(url=test_url,headers=xheaders).text

后面加.text表示返回文本内容
test_url 是链接，xheaders 是浏览器代理的内容

xpath是按照HTML标签的方式进行定位的，谷歌浏览器自带有xpath，直接复制来就可以使用，简单方便，运行速度快。
使