三分钟教会你利用Python爬虫实现豆瓣电影采集（实战篇）

最新推荐文章于 2024-07-01 16:46:02 发布

Python654

最新推荐文章于 2024-07-01 16:46:02 发布

阅读量4.9k

点赞数

分类专栏： Python爬虫 Python 网络爬虫文章标签： python 爬虫后端程序人生经验分享

本文链接：https://blog.csdn.net/Python654/article/details/106732939

版权

本文介绍了如何使用Python爬虫批量爬取豆瓣电影（美剧）的名称、评分、详情链接，并下载电影图片，保存到CSV文件。通过解析JSON数据，避免反爬策略，详细讲解了项目执行过程和效果展示，强调实践中的难点和关键点，旨在帮助读者掌握爬虫基本流程和技巧。

摘要由CSDN通过智能技术生成

一、项目背景

豆瓣电影提供最新的电影介绍及评论包括上映影片的影讯查询及购票服务。可以记录想看、在看和看过的电影电视剧、顺便打分、写影评。极大地方便了人们的生活。

今天小编以电视剧（美剧）为例，批量爬取对应的电影，写入csv文档。用户可以通过评分，更好的选择自己想要的电影。

二、项目目的

获取对应的电影名称，评分，详情链接，下载电影的图片，保存文档。

三、涉及的库和网站

1、网址如下：

https://movie.douban.com/j/search_subjects?type=tv&tag=%E7%BE%8E%E5%89%A7&sort=recommend&page_limit=20&page_start={}

2、涉及的库：requests、fake_useragent、json、csv

3、软件：PyCharm

四、项目分析

1、如何多网页请求?

点击下一页时，每增加一页paged自增加20，用{}代替变换的变量，再用for循环遍历这网址，实现多个网址请求。

2. 如何获取真正请求的地址？

请求数据时，发现页面上并没有对应数据。其实豆瓣网采用javascript动态加载内容，防止采集。

（1）F12右键检查，找到Network，左边菜单Name , 找到第五个数据，点击Previ

关注

专栏目录