爬虫反爬-关于headers（UA、referer、cookies）的一些有趣反爬

最新推荐文章于 2024-08-12 07:15:00 发布

hu77700021

最新推荐文章于 2024-08-12 07:15:00 发布

阅读量2w

点赞数 5

本文链接：https://blog.csdn.net/hu77700021/article/details/79837569

版权

网站为了保护自己的数据不被爬取，都会设置许多反爬措施。其中较为简单的就是检测访问请求头部，如果检测出不是合法的请求头，服务器就不返回数据。请求头headers中常用于设置反爬的参数有User Agent、referer和cookies。在做爬虫时，遇到了一些相关案例，将案例和相关应对措施发出来与大家分享下。

1、User Agent反爬

User Agent是标识请求的浏览器身份的，网站常用这个参数来分辨爬虫。如豆瓣网，当请求headers中没带User Agent时，返回404.

2、referer反爬-上海证券交易所

当请求不带referer时，返回403错误。

import requests

url = 'http://query.sse.com.cn/security/stock/getStockListData2.do?&jsonCallBack=jsonpCallback96332&isPagination=true&stockCode=&csrcCode=&areaName=&stockType=1&pageHelp.cacheSize=1&pageHelp.beginPage=1&pageHelp.pageSize=25&pageHelp.pageNo=2&pageHelp.endPage=21&_=1522509003629'
response = requests.get(url)
print(response.text)

如下图所示，返回403错误。

而带上referer后，则可正常返回所请求数据。

import requests

headers={
    'Referer':'http://www.sse.com.cn/assortment/stock/list/share/'
}
url = 'http://query.sse.com.cn/security/stock/getStockListData2.do?&jsonCallBack=jsonpCallback96332&isPagination=true&stockCode=&csrcCode=&areaName=&stockType=1&pageHelp.cacheSize=1&pageHelp.beginPage=1&pageHelp.pageSize=25&pageHelp.pageNo=2&pageHelp.endPage=21&_=1522509003629'
response = requests.get(url,headers= headers)
print(response.text)

如下图，带上referer后，服务器返回所请求数据。