Scrapy
Lovehanxiaoyan
这个作者很懒,什么都没留下…
展开
-
TypeError: attrs() got an unexpected keyword argument ‘eq‘
出现这个问题的原因是attrs的版本问题pip install attrs==19.3.0 -i https://pypi.douban.com/simple原创 2020-08-10 13:47:47 · 1885 阅读 · 0 评论 -
Scrapy之Debug
原创 2019-03-09 20:40:48 · 332 阅读 · 0 评论 -
Scrapy之Settings
USER_AGENT 设置uaROBOTSTXT_OBEY 是否遵守robots协议,默认是遵守CONCURRENT_REQUESTS 设置并发请求的数量,默认是16个DOWNLOAD_DELAY 下载延迟,默认无延迟COOKIES_ENABLED 是否开启cookie,即每次请求带上前一次的cookie,默认是开启的DEFAULT_REQUEST_HEADERS 设置默认请求头,这里加...原创 2019-03-09 20:47:54 · 193 阅读 · 0 评论 -
scrapy+selenium动态抓取
1、middleware.py文件配置import timefrom scrapy.http import HtmlResponsefrom selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsclass JsDownloaderMiddleware(object): def p...原创 2019-07-20 15:53:38 · 243 阅读 · 0 评论