- 博客(1)
- 收藏
- 关注
原创 Scrapy中用cookie模拟登陆新浪微博
最近想做一个微博的搜索页文本分析的小项目,因为开放平台里这个api的限制略多,决定进入爬虫坑自己动手. 之前久闻Scrapy大名,尝试了一下,抓取网页甚是好用,避免了许多HTTP方面的繁琐处理.不过还是卡在了登陆这一步上. 一般模拟登陆有两种方式,一个是抓登陆时的包,然后模拟所需数据发送过去.由于新浪经常改参数和加密方式,这个方法费时费力.另一种就是直接发送cookie.
2015-07-19 16:06:47
5280
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人