反爬措施——随机请求头

最新推荐文章于 2023-10-11 10:15:21 发布
最新推荐文章于 2023-10-11 10:15:21 发布
阅读量417 收藏
点赞数
文章标签： chrome firefox
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_46131444/article/details/106236914
版权

这是简短而又重要的一篇文章，在我们爬取一些网站时，如果网站做了一些小的反爬措施，我们的爬取过程将不会很顺利。所以今天我将会提供一些请求头，以便大家在爬取数据的时候更加顺利。

这是所有随机请求头的链接http://www.useragentstring.com/pages/useragentstring.php?name=All

下面将会列出一些我们常用的请求头：

Chrome 70.0.3538.77Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36
Chrome 55.0.2919.83Mozilla/5.0 (X11; Ubuntu; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2919.83 Safari/537.36
Chrome 54.0.2866.71Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2866.71 Safari/537.36
Chrome 53.0.2820.59Mozilla/5.0 (X11; Ubuntu; Linux i686 on x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2820.59 Safari/537.36
Chrome 52.0.2762.73Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2762.73 Safari/537.36
Chrome 49.0.2656.18Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2656.18 Safari/537.36
Chrome 44.0.2403.155Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML like Gecko) Chrome/44.0.2403.155 Safari/537.36
Chrome 41.0.2228.0Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36
Chrome 41.0.2227.1Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.1 Safari/537.36
Chrome 41.0.2227.0Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.0 Safari/537.36
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.0 Safari/537.36

以上是Chrome的一些比较新的请求头，下面是火狐浏览器的一些请求头：

Firefox 77.0Mozilla/5.0 (Windows NT 6.1; WOW64; rv:77.0) Gecko/20190101 Firefox/77.0
Mozilla/5.0 (Windows NT 10.0; WOW64; rv:77.0) Gecko/20100101 Firefox/77.0
Firefox 75.0Mozilla/5.0 (X11; Linux ppc64le; rv:75.0) Gecko/20100101 Firefox/75.0
Mozilla/5.0 (Windows NT 6.1; WOW64; rv:39.0) Gecko/20100101 Firefox/75.0
Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.10; rv:75.0) Gecko/20100101 Firefox/75.0
Firefox 74.0Mozilla/5.0 (X11; Linux; rv:74.0) Gecko/20100101 Firefox/74.0
Firefox 73.0Mozilla/5.0 (Macintosh; Intel Mac OS X 10.13; rv:61.0) Gecko/20100101 Firefox/73.0
Firefox 72.0Mozilla/5.0 (X11; OpenBSD i386; rv:72.0) Gecko/20100101 Firefox/72.0

以上是我提取的一些请求头，只是提取了其中的一小部分来作为示例，读者可以自行的到网站提取 http://www.useragentstring.com/pages/useragentstring.php?name=All

qq_46131444
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
爬虫-请求头中需要注意的反爬（特殊的X-Requested-With）
cyz52的博客
03-16 3322
爬虫-请求头中需要注意的反爬（特殊的X-Requested-With）常见的请求头特殊的X-Requested-With 常见的请求头 有关注过爬虫的朋友应该会对http请求头比较熟悉 什么？不清楚 那我们百度百科一下 Accept：浏览器可接受的MIME类型。 Accept-Charset：浏览器可接受的字符集。 Accept-Encoding：浏览器能够进行解码的数据编码方式，比如gzip。...
19-【反爬虫】反爬虫-设置随机请求头.flv
03-11
python 反爬虫
【反爬虫】Scrapy设置随机请求头
qq_45020131的博客
11-27 493
随机User-Agent的构建 在这里给大家推荐一个包含全球所有的user-agent的网站： 网站地址 效果图如下： 这里我随机选了几个关于谷歌和火狐浏览器中的UA，然后再scrapy框架中的middlewares.py中新增加一个类 ，在里面构建了一个user-agent的列表，效果如下： ```python class UserAgentDownloadMiddleware(object...
python反爬与反反爬 (一) 请求头
stripe-python
07-27 1122
HTTP 请求报文由3部分组成(请求行 + 请求头 + 请求体) 随便找个网页,开F12,找到Network我的用的是Chrome 然后刷新,可以看到有很多请求: 随便点一个,Request Headers下的就是你的请求头: 其中User-Agent最为重要,服务器可以通过他来判断是不是机器 (js加密后面再讲) 反爬 在python中写一个请求头反爬: import flask app = flask.Flask(__name__) @app.route('/') def index():
关于请求头的反爬
xiaosheng
06-21 698
  from urllib import request import random base_url = 'http://www.xicidaili.com' #构建请求头 UA = [ 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.79 Saf...
使用python写的spider——Bajie
03-16
通过阅读源码，我们可以了解到如何构建请求、处理反爬机制（如设置User-Agent、随机延时等）、解析响应内容以及存储抓取到的数据。同时，源码中可能包含了错误处理和异常捕获的机制，确保爬虫在面对各种网络问题时仍...
爬虫篇——User-Agent爬取备用及存储
12-21
请求头中包含了一个默认的User-Agent字符串，这样可以获取到网页的原始内容。 2. `data_parse`方法：使用BeautifulSoup库解析HTML数据，找到User-Agent列表。这里选取了HTML中特定的`div p`元素，并对每个元素进行...
PHP网站实例开发源码——守望数据采集器.zip
10-25
在PHP中，通过设置curl选项，可以定制请求头、超时时间、重试机制等，以适应不同的网站规则。同时，爬虫需要处理反爬策略，如验证码、IP限制和User-Agent检测，可能需要用到代理IP、随机User-Agent和cookie管理。 ...
[python练习实例源码]爬取B站小视频之获取动态请求数据.zip
08-27
首先，让我们了解Python在爬虫中的核心库——`requests`和`BeautifulSoup`。`requests`库允许我们发送HTTP请求，如GET和POST，以获取网页内容。而`BeautifulSoup`是一个解析HTML和XML文档的库，它能帮助我们方便地...
PyPI 官网下载 | alt_fake_useragent-0.2.1-py3-none-any.whl
02-02
x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36”这样的字符串，可以将其设置到HTTP请求头中。 alt_fake_useragent库不仅提供了随机用户代理的功能，还支持按特定类型（如Chrome...
python爬虫的随机请求头+随机代理
10-29
requests模块中经常使用到的headers和proxies，随机代理ip和请求头可以实现更加高效的爬取操作。 文件中给出从网上收集到的代理，下方也给出了筛选可用代理的方法。
随机请求头
qq_41663800的博客
07-27 684
from fake_useragent import UserAgent ua = UserAgent() headers={'User-Agent':ua.random} html=requests.get('https://www.kuaidaili.com/free/inha/'+str(page),headers=headers)
在scrapy框架中如何随机更换请求头达到反爬的目的
liumengqi11的博客
01-25 421
我们在随机爬取某个网站的时候，比如对网站发出成千上万次的请求，如果`user-agent`都是一样的，就很容易被服务器识别出你是一个爬虫。因此在发送请求多了之后我们就要随机更换我们的`user-agent`,使服务器不那么容易去识别。那么如何在scrapy框架中如何随机更换请求头呢？
数据抓取之反爬虫规则：使用代理和http头信息
mooyinn的专栏
11-30 5770
之前说个数据抓取遇到的一个坎就是验证码，这次来说另外两个。我们知道web系统可以拿到客户请求信息，那么针对客户请求的频率，客户信息都会做限制。如果一个ip上的客户访问过于频繁，或者明显是用程序抓取，肯定是要禁止的。本文针对这两个问题说下解决方法。 其实针对上述两个问题，解决方法已经很成熟了，无非就是买代理和在http请求中加入头信息伪装为浏览器请求。本文说下具体操作 使用代理 首先购买代
【道高一尺魔高一丈】7种反爬虫策略及规避手段
最新发布
m0_48891301的博客
10-11 2105
在进行爬虫活动时，需要遵循伦理规范和法律法规，尊重网站的隐私权和信息所有权。未经授权的爬虫活动可能涉及侵犯隐私、盗取数据等问题，违反相关法律法规可能会面临法律责任。
关于爬虫反爬机制处理方法（整合）
m0_59874815的博客
11-11 5691
常见得反爬机制及解决办法 1、针对请求头做出得反爬 简介：网站通过去检查headers中的User-Agent字段来反爬，如果我们没有设置请求头，那么headers默认是python这样就会出现访问失败、没有权限等原因，如果去伪造一个请求头是可以避开得，不过如果短时间内频繁使用同一个User-Agent访问可能会被检测出来导致被封掉爬虫 解决办法：通过fake_useragent构造随机请求头 第一步：下载fake_useragent 可以直接在cmd当中输入： pip install..
selenium被反爬后的几个方案，主要针对window.navigator.webdriver特征被检测
养生路漫漫
05-18 4574
https://www.cnblogs.com/superhin 这个人的博客给了我启发。 1. 使用开发者模式 chrome_option = webdriver.ChromeOptions() chrome_option.add_experimental_option('excludeSwitches', ['enable-automation']) webdriver = webdriver.Chrome(options=chrome_option) 使用开发者模式简单快捷，但是缺点也很明显，仅仅在
python 反爬技术 header_python中绕过反爬虫的方法总结
weixin_30774813的博客
02-03 773
我们在登山的途中，有不同的路线可以到达终点。因为选择的路线不同，上山的难度也有区别。就像最近几天教大家获取数据的时候，断断续续的讲过header、地址ip等一些的方法。具体的爬取方法相信大家已经掌握住，本篇小编主要是给大家进行应对反爬虫方法的一个梳理，在进行方法回顾的同时查漏补缺，建立系统的爬虫知识框架。首先分析要爬的网站，本质是一个信息查询系统，提供了搜索页面。例如我想获取某个case，需要利用...
反爬虫之利用chrome的debug模式破解不允许selenium模拟的网站
热门推荐
寸草心的博客
04-04 1万+
原因: 我们利用selenium爬取很多网站都很方便,但是有的网站如知乎和淘宝会检测selenium. 这些网站如果直接通过selenium打开网站,selenium会携带一些指纹信息,如:window.navigator.webdriver 网站js通过检测类似的指纹信息,可以检测到你在使用自动化工具,就不让你登录 解决:这时我们可以利用chrome的远程调试结合selenium来遥控chr...
哪些图片网站没有反爬措施
07-08
无法提供确切的列表，因为图片网站的反爬措施可能会随着时间和技术的发展而不断更新。然而，一些较为宽松或不太严格的图片网站可能较少或没有明显的反爬措施。 以下是一些可能较少反爬措施的图片网站类型： 1. 图床网站：一些图床网站允许用户上传和分享图片，并提供直接访问图片的链接。这些网站通常没有太多反爬虫机制，因为它们的目的是为用户提供方便的图片存储和分享服务。 2. 开放数据集网站：一些开放数据集网站提供大量免费的图片资源供学术研究、数据分析等目的使用。这些网站通常鼓励用户下载和使用数据，因此可能没有太多限制或反爬虫措施。 请注意，即使某些图片网站可能没有明显的反爬虫措施，仍然建议遵守网站的使用规定和条款。同时，确保您的爬虫行为合法、合理，并避免对网站造成不必要的负担或损害。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值