scrapy
yaooye
这个作者很懒,什么都没留下…
展开
-
scrapy + 人工智能给知乎小姐姐颜值打分
最近看知乎有的人虐狗总会贴上自己的女(百)票(度)的照骗,正好今天趁着38妇女节,抽时间来一波你的女票颜值到底多少分 先去知乎找几个类似 有个漂亮女朋友###的话题,找些评论多的,找知乎的评论接口很简单就不说了 setting.py ROBOTSTXT_OBEY = False DOWNLOAD_DELAY = 2 DEFAULT_REQUEST_HEADERS = { 'Ho...原创 2019-03-08 16:43:30 · 498 阅读 · 0 评论 -
builtins.TypeError: 'Rule' object is not iterable
使用Scrapy 提取器 设置好规则 rules = ( Rule(LinkExtractor(allow=r'type=4&page=\d+'), callback="parse_pages", follow=True) ) 报了一个的错误,源码来看是要求为可迭代对象,加个逗号就行, Rule(LinkExtractor(allow='page='),call...原创 2019-03-04 16:59:21 · 1167 阅读 · 0 评论