2020-10-11

GGBOY_bomb

于 2020-10-11 12:11:16 发布

阅读量179

点赞数

分类专栏： python 文章标签： python

本文链接：https://blog.csdn.net/qq_34815880/article/details/109010003

版权

python 专栏收录该内容

6 篇文章 0 订阅

订阅专栏

scrapy shell 获取settings设置关闭robot协议

在scrapy项目里只需要在settings里把ROBOTSTXT_OBEY设置为False就行了。
scrapy shell默认为setting默认设置。设置不遵守robot协议加上–setting（双破折号）覆盖和添加设置。
比如：scrapy shell “www.example.com” --setting=“ROBOTSTXT_OBEY=False”

‘LxmlLinkExtractor’ object has no attribute ‘extractor_links’
linkresult = LinkExtractor(allow=(“re”)) #allow 正则 | restrict_xpaths 网页规则 | restrict_css css
linkresult .extract_links(response) # extract_links()从response响应体提取符合linkresult规则的字符串