Scrapy爬虫框架使用时设置User-agent和Cookies(包含scrapy shell)
学习用scrapy写爬虫时遇到了网站的反爬,需要自定义下用户代理和Cookies,改掉Scrapy工程里的设置后发现Scrapy Shell并没有跟着被设置,需要单独修改,这里记录在一起。包括两部分的设置,一个是Scrapy工程本身,一个是Scrapy shell的设置。Pycharm Scrapy工程打开settings.py设置USER_AGENT = ‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36
原创
2021-05-19 13:20:43 ·
2137 阅读 ·
0 评论