主要参考崔庆才(狗粮散播达人)的教程完成对浸提头条图片的爬取
[Python3网络爬虫开发实战] 6.4-分析Ajax爬取今日头条街拍美图
因为网站变动,不能完全照搬他的方法,但是思想上基本一致, 是非常好的教材,然后自己做了些改动,可以进行相关的爬取工作。完整的代码见我的github,烦劳各位感觉满意的给个小星星呀,谢谢。
这里的步骤涉及到使用ajax,建议看看相关的信息。这里不做累述
步骤1- – 网页查看
(1)打开今日头条网址
(2)在搜索框输入图片并回车
获得如下页面:
(3)鼠标移动至图片上,点击右键选择–检查,
(4)鼠标移动至图片上,点击右键选择–源代码
(5)发现检查中有相应的地址信息而源代码中没有,刷新页面,下拉滚动轴,网址也是不变,一直如下所示
(6)选择检查—network—XHR ,
如上图如果显示空白信息,则在原来网页中向下滚动,刷新