Python爬虫--爬取微博指定用户主页下的所有图片
写在前面
最近比较无聊,冒出来一个想法,去各大图片网站爬取大妹子的图片,然后自己写个简单的网站,按网站分类显示图片,第一个想到的是爬取知乎问题下面的答案,肯定有很多 漂亮的小姐姐,然后是微博,有些图片博主会发很多街拍图片,最后是百度上搜索图片网站。知乎我试了试,网上找了些教程,我放弃了,目前暂时爬不动。于是转战微博, 准备爬取微博用户主页下的发布微博内容中的所有图片,当然文字内容想要一样可以爬取,这里我只爬取图片。
最开始我还是去百度找别人的教程,说不定有写好的代码直接拿来用也行,后来发现基本微博都是模拟登陆,然后爬取用户信息的,感觉很麻烦,后来我自己登录微博试了试, 只用cookies就可以爬取了,功能不是很强的,只能爬取指定用户发布的微博内容,但是代码很简单,实现的功能也满足了自己的需求。
分析请求url
首先要先登录自己的微博,然后随便找到一个图片博主,比如这样,
然后打开谷歌开发者调试页面,这里每一页的内容大概是分两三次动态加载的,页面不断地往下滑动,直到在调试页面出现这样一个链接:
接下来我们点击下一页,到第二页,然后下滑获取到这个链接的请求url,观察参数有什么变化
最后发现请求url中只有三个参数