大家好,作为一名互联网行业的小白,写博客只是为了巩固自己学习的知识,但由于水平有限,博客中难免会有一些错误出现,有不妥之处恳请各位大佬指点一二!
博客主页:链接: https://blog.csdn.net/weixin_52720197?spm=1018.2118.3001.5343
一,分析页面内:
- 目标:爬取豆瓣电影-排行榜-剧情中的电影
- 观察url,会不会变化+滚动条的变化,向下拉时发现,滚动条在慢慢变小,电影在不断出现,但是URL没有变化
- 再右键查看源代码,发现源代码中没有任何源代码的数据的 也就是说,当我们取访问这个URL时,是你拿不到电影的信息的
- 而真正获取信息的是Ajax请求
- 打开开发者工具,并拉动滚动条,查看数据
- 也就是说,要想获取电影的信息,获取方框中的URL即可
二.代码
# 要发送的地址
url