hu77700021的博客

原创 爬虫反爬-关于headers（UA、referer、cookies）的一些有趣反爬

网站为了保护自己的数据不被爬取，都会设置许多反爬措施。其中较为简单的就是检测访问请求头部，如果检测出不是合法的请求头，服务器就不返回数据。请求头headers中常用于设置反爬的参数有User Agent、referer和cookies。在做爬虫时，遇到了一些相关案例，将案例和相关应对措施发出来与大家分享下。1、User Agent反爬User Agent是标识请求的浏览器身份的，网站常用这个参数来...