![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scrapy
nickname existed
嗯,暂属于小猴子,但是相信自己能变成一只程序猿!
展开
-
使用scrapy爬取知乎用户信息
这个小爬虫主要的思想是找到一个大v,然后通过爬取这个大v的粉丝来获取用户信息,再通过粉丝的粉丝等依次往下获取信息,类似一个树状的结构。 选一个大v: https://www.zhihu.com/people/xuxiaofeng1993/activities 然后通过分析网页可知,他关注的人信息所在的接口: https://www.zhihu.com/api/v4/members/...原创 2018-09-26 22:00:09 · 190 阅读 · 0 评论 -
使用scrapy框架Item用法,ItemLoader
MapCompose()可出路多个函数来处理纸然后返回。举个栗子,如果要给某个字符串加上一个前缀,可以定义一个这样的方法: from scrapy.item import Item from scrapy。loader import ItemLoader from scrapy import Field from scrapy.loader.processors import MapCompo...原创 2018-10-23 20:58:33 · 562 阅读 · 0 评论