在一些如百度图片的网站爬取会因为网站的反爬而无法获取时需要用到头部header
格式为:headers = {"User-Agent":"xxx"}
其中xxx是要我们自己去网站上找的。
比如我们要爬取百度图片,那我们先进入百度图片。
右键检查
稍等一会儿后出现右图式样
按f5刷新数据流后出现下图,找到network-headers,点击左边name的第一个
滑到最下面,将蓝色线划出的(user-agent:后的)复制进本文最上面的header里,把xxx替换掉就行
在一些如百度图片的网站爬取会因为网站的反爬而无法获取时需要用到头部header
格式为:headers = {"User-Agent":"xxx"}
其中xxx是要我们自己去网站上找的。
比如我们要爬取百度图片,那我们先进入百度图片。
右键检查
稍等一会儿后出现右图式样
按f5刷新数据流后出现下图,找到network-headers,点击左边name的第一个
滑到最下面,将蓝色线划出的(user-agent:后的)复制进本文最上面的header里,把xxx替换掉就行