scrapy 如何修改请求头

势无形

已于 2022-07-12 10:27:31 修改

阅读量1.8w

点赞数 2

分类专栏：爬虫文章标签： scrapy

于 2015-08-27 02:07:36 首次发布

本文链接：https://blog.csdn.net/qq_24861509/article/details/48019629

版权

爬虫专栏收录该内容

8 篇文章 0 订阅

订阅专栏

在settings.py文件中添加

DEFAULT_REQUEST_HEADERS = {
    'accept': 'image/webp,*/*;q=0.8',
    'accept-language': 'zh-CN,zh;q=0.8',
    'referer': 'https://www.taobao.com/',
    'user-agent': 'Mozilla/5.0 (Windows NT 6.3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36',
}

具体可以自己修改内容

关注博主即可阅读全文