[9]个人学习python：爬豆瓣电影，处理‘加载更多’动态页面

最新推荐文章于 2023-09-17 16:28:21 发布

tangxiaoguodong

最新推荐文章于 2023-09-17 16:28:21 发布

阅读量1.5k

点赞数

分类专栏： python 文章标签： Python

本文链接：https://blog.csdn.net/deepmountain/article/details/80502923

版权

本文介绍了使用Python爬取豆瓣电影中‘加载更多’动态页面的方法，通过分析发现该功能是通过JSON实现的，因此利用JSON进行解析。文章中提到了join()方法的应用，用于将演员列表以逗号连接成字符串。

摘要由CSDN通过智能技术生成

先分析：
1、网址是https://movie.douban.com/tag/#/，按F12进入网页开发模式，找到Network-XHR，然后刷新页面并筛选，找到第一条，然后点击页面'加载更多'，找到第二条，以此类推；
点击找到的动态信息，找到General-Request URL，就是动态的实际地址了：
https://movie.douban.com/j/new_search_subjects?sort=T&range=0,10&tags=&start=0

打开之后，复制到Pycharm，格式化，可以发现是一个字典：

以下只展示3个
{'data': [{'directors': ['弗兰克·德拉邦特'], 'rate': '9.6', 'cover_x': 2000, 'star': '50', 'title': '肖申克的救赎',
           'url': 'https://movie.douban.com/subject/1292052/',
           'casts': ['蒂姆·罗宾斯', '摩根·弗里曼', '鲍勃·冈顿', '威廉姆·赛德勒', '克兰西·布朗'],
           'cover': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p480747492.jpg', '