本文介绍了如何使用Scrapy框架构建新浪微博爬虫，包括解决登录、页面渲染问题，以及利用oid获取用户微博，并通过正则匹配提取内容。教程中详细阐述了每个步骤，适合初学者实践。
本篇文章主要讲述了用scrapy实现新浪微博爬虫，具有一定的参考价值，感兴趣的朋友可以了解一下 ，看完不妨自己去试试哦！
最近因为做毕设的原因，需要采集一批数据。本着自己动手的原则，从新浪微博上采集到近百位大家耳熟能详的明星14-18年的微博内容。看看大佬们平常都在微博上都有哪些动态吧～
1.首先项目采用scrapy编写，省时省力谁用谁知道。
采集的网站为weibo.com，是微博的网页端。稍稍麻烦了一点，但相对于移动段和wap站点来说内容稍微更全一点。
2.采集之前我们先来看下微博都给我们设置了哪些障碍。登录
页面js渲染
由于微博对于没登录的用户默认都是302跳转到登录界面，所以采集微博钱必须得让微博认为，本次采集偷了个懒，直接是先手动登录然后保存cookie到scrapy上，请求的时候带上cookie去访问，因为采集量并不是很大，估计也就10w条左右。这里需要对刚入scrapy的小伙伴需要提醒一下，scrapy的cookie是类似与json的形式，不像平常在requests上直接粘贴就可以用，需要转换一下格式。
大概就是像这样，所以需要把登录后的cookie粘贴出来用代码转换一下，代码如下：class transCookie:
def __init__(self, cookie):
self.cookie = cookie
def stringToDict(self):
最低0.47元/天 解锁文章
扫一扫
6734
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
