教你如何用Python爬虫获取今日头条上面三千美女图

想问大家一个问题啊，大家学习Python爬虫的动力是什么呀？

下面是我们有些同学的回答：

1 .Python爬虫学好了，我可以找一个高薪的工作。

2 .我学习编程希望能够为社会做贡献（手动滑稽）

3 .为了姑娘！（很直白的回答哈！）

.....

总结了一些同学的回答，结论大多是爬取一切自己想看想了解的事情和人（姑娘）！果然还是姑娘让我们这些码农有动力啊！

今天咱们就是爬取今日头条，你要问我为什么要爬取今日头条？是因为爱嘛？

是因为责任嘛？

不，是因为头条里面的有很多美女图片，然后我们可以把她们都爬取下来！！！

是不是想想都觉得很兴奋，是不是都要流鼻血了？！

下面我们要做的就是用Python爬虫把上面的图片给爬下来。

开始分析网站

按下f 12，然后点击network，刷新下你可以看到这些

在网页上可以看到图片会随着你下拉网页而进行显示更多的图片。

今日头条的网站是动态加载的，其实可以很轻松的就可以在xhr的文件里面找到。

不断地发送请求，点击这个请求看看是返回什么数据

可以看到这是个json，里面有图片的url，这个就是我们要找的东西。

我们可以用json库来解析，还有这个网站是get请求，这样就可以用requests库来发送然后解析下就可以了，非常简单。

代码：需要完整的代码可以关注后私信【爬取头条】即可获取

最后给你们看下结果

文章中如果有哪些地方如有错误或者不足，欢迎在留言区指出，欢迎大家的监督。更多相关的Python爬虫教程也会继续为大家更新！

转载于:https://juejin.im/post/5d4bd3095188256f672b92bc