爬虫换个头，我用python实现三种随机请求头方式

最新推荐文章于 2024-03-22 17:51:54 发布

hzp666

最新推荐文章于 2024-03-22 17:51:54 发布

阅读量584

点赞数

分类专栏： python 文章标签： python 爬虫请求头

原文链接：https://blog.csdn.net/qq_45906219/article/details/108563192?utm_medium=distribute.pc_feed.none-task-blog-personrec_tag-2.nonecase&depth_1-utm_source=distribute.pc_feed.none-task-blog-personrec_tag-2.nonecase&request_id=5f5ec707dfc5717f9a0c8892

版权

python 专栏收录该内容

200 篇文章 8 订阅

订阅专栏

思路介绍:

其实要达到随机的效果，很大程度上我们可以利用随机函数库random 这个来实现，可以调用random.choice([user-agent]) 随机pick数组中一个就可以了，这是我的一种方式。
python作为一个拥有众多第三方包的语言，自然就有可以生成随机请求头的包咯，没错，就是fake-useragent 这个第三方库了，稍后我们介绍一下这个函数库的简单使用。
既然别人可以写第三方库，自然自己也可以实现一个这样的功能，大部分情况下，我很多代码都是直接调用我自己实现的一个GetUserAgentCS 类，直接就可以获取一个随机请求头了，直接写函数库，才牛逼舒服，这个我也会在下面介绍如何编写函数库。

自己编写第三方库：

不知道你们写代码的框架是怎样的，面向过程还是面向对象？对于一次性的代码，就简单的编码就行了，如果你觉得这个代码它可以会在很多的地方用得到，可以重复使用，那么你就可以使用类的方式，去编写这个代码，那么在其他的文件中，你就可以直接调用你的写这个文件，直接调用你写的class类中的各种方法，而我也是这样实现的一个随机请求头的一个第三方库，如下：

<span style="color:#000000"><code class="language-python"><span style="color:#0077aa">import</span> random
<span style="color:#0077aa">import</span> csv


<span style="color:#0077aa">class</span> GetUserAgentCS<span style="color:#999999">(</span><span style="color:#50a14f">object</span><span style="color:#999999">)</span><span style="color:#999999">:</span>
    <span style="color:#50a14f">"""
    调用本地请求头文件， 返回请求头
    """</span>

    <span style="color:#0077aa">def</span> <span style="color:#dd4a68">__init__</span><span style="color:#999999">(</span>self<span style="color:#999999">)</span><span style="color:#999999">:</span>
        <span style="color:#0077aa">with</span> <span style="color:#50a14f">open</span><span style="color:#999999">(</span><span style="color:#50a14f">'D://pyth//scrapy 项目//setting//useragent.csv'</span><span style="color:#999999">,</span> <span style="color:#50a14f">'r'</span><span style="color:#999999">)</span> <span style="color:#0077aa">as</span> fr<span style="color:#999999">:</span>
            fr_csv <span style="color:#a67f59">=</span> csv<span style="color:#999999">.</span>reader<span style="color:#999999">(</span>fr<span style="color:#999999">)</span>
            self<span style="color:#999999">.</span>user_agent <span style="color:#a67f59">=</span> <span style="color:#999999">[</span><span style="color:#50a14f">str</span><span style="color:#999999">(</span>i<span style="color:#999999">[</span><span style="color:#986801">1</span><span style="color:#999999">]</span><span style="color:#999999">)</span> <span style="color:#0077aa">for</span> i <span style="color:#0077aa">in</span> fr_csv<span style="color:#999999">]</span>

    <span style="color:#0077aa">def</span> <span style="color:#dd4a68">get_user</span><span style="color:#999999">(</span>self<span style="color:#999999">)</span><span style="color:#999999">:</span>
        <span style="color:#0077aa">return</span> random<span style="color:#999999">.</span>choice<span style="color:#999999">(</span>self<span style="color:#999999">.</span>user_agent<span style="color:#999999">)</span>
</code></span>

useragent文件如下：

<span style="color:#000000"><code class="language-python"><span style="color:#986801">1</span><span style="color:#999999">,</span><span style="color:#50a14f">"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36,Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.93 Safari/537.36"</span>
<span style="color:#986801">2</span><span style="color:#999999">,</span><span style="color:#50a14f">"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36,Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.17 Safari/537.36"</span>
<span style="color:#986801">3</span><span style="color:#999999">,</span><span style="color:#50a14f">"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36,Mozilla/5.0 (X11; NetBSD) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.116 Safari/537.36"</span>
<span style="color:#986801">4</span><span style="color:#999999">,</span><span style="color:#50a14f">"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36,Mozilla/5.0 (X11; CrOS i686 3912.101.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.116 Safari/537.36"</span>
<span style="color:#986801">5</span><span style="color:#999999">,</span><span style="color:#50a14f">"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36,Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.93 Safari/537.36"</span>
<span style="color:#a67f59">-</span><span style="color:#a67f59">-</span><span style="color:#a67f59">-</span><span style="color:#a67f59">-</span><span style="color:#a67f59">-</span><span style="color:#a67f59">-</span><span style="color:#a67f59">-</span>
<span style="color:#a67f59">-</span><span style="color:#a67f59">-</span><span style="color:#a67f59">-</span><span style="color:#a67f59">-</span><span style="color:#a67f59">-</span><span style="color:#a67f59">-</span><span style="color:#a67f59">-</span>  <span style="color:#708090"># too much </span>
<span style="color:#986801">100</span><span style="color:#999999">.</span><span style="color:#999999">.</span><span style="color:#999999">.</span>
</code></span>

代码很简单的，读取本地的csv文件，然后random一个出去就行了，那现在就有人问我，你这个文件怎么来的, 很简单啊，自然就有方法了，待会在下一个模块我会讲到，在这里，我们只需要编写一个GetUserAgentCS类就可以，代码可以直接抄我上面的，然后保存为get_useragent.py 就可以了，然后你把这个包文件放在你自己爬虫文件夹的地方，然后这样调用:

<span style="color:#000000"><code class="language-python"><span style="color:#0077aa">from</span> get_useragent <span style="color:#0077aa">import</span> GetUserAgentCS
headers <span style="color:#a67f59">=</span> <span style="color:#999999">{</span><span style="color:#999999">}</span>
ua <span style="color:#a67f59">=</span> GetUserAgentCS<span style="color:#999999">(</span><span style="color:#999999">)</span><span style="color:#999999">.</span>get_user<span style="color:#999999">(</span><span style="color:#999999">)</span>
headers<span style="color:#999999">[</span><span style="color:#50a14f">'user-agent'</span><span style="color:#999999">]</span> <span style="color:#a67f59">=</span> ua
<span style="color:#0077aa">return</span> headers
</code></span>

如果你在这个调用GetUserAgentCS 不成功，或者底下会出现红色的波浪线，那么就是你没有设置当前工作环境，你只需要这么设置（设置你的爬虫文件夹）：

在这里插入图片描述
你需要点击 Sources Root 就可以了！

使用第三方库 fake-useragent：

这是一个别人已经写好的第三方库，你需要安装然后调用API 就可以了，它可以获取各种的请求头，唯一的缺点就是请求不稳定，有的时候网络波动就可能导致获取不成功，用于Scrapy中，不是很舒服，所以我在这个包的基础上，编写了如上我自己的包，至于请求头的数据怎么来的，就是在这个包运行正常时候，一直更改user-agent，然后不断的请求 http://httpbin.org/user-agent 然后不断的保存数据，写入本地文件就可以了。

我们还是讲一讲这个包的使用方式吧！

安装

<span style="color:#000000"><code class="language-python">pip install fake<span style="color:#a67f59">-</span>useragent
</code></span>

你可以 pip list 查看一下是否安装成功

使用方式

<span style="color:#000000"><code class="language-python"><span style="color:#0077aa">from</span> fake_useragent <span style="color:#0077aa">import</span> UserAgent
headers<span style="color:#a67f59">=</span> <span style="color:#999999">{</span><span style="color:#50a14f">'User-Agent'</span><span style="color:#999999">:</span><span style="color:#50a14f">str</span><span style="color:#999999">(</span>UserAgent<span style="color:#999999">(</span><span style="color:#999999">)</span><span style="color:#999999">.</span>random<span style="color:#999999">)</span><span style="color:#999999">}</span>
r <span style="color:#a67f59">=</span> requests<span style="color:#999999">.</span>get<span style="color:#999999">(</span>url<span style="color:#999999">,</span> headers<span style="color:#a67f59">=</span>headers<span style="color:#999999">)</span>
</code></span>

UserAgent().random 可以获取任意浏览器的请求头
UserAgent().Chrome 可以获取谷歌浏览器的请求头
UserAgent().firefox 可以获取火狐浏览器的请求头

这个时候，直接用random就可以了，简单。

读后有收获，点赞，关注，加收藏，共勉！
点我，点我，点我呀！博主其他文章

读取内存数组：

这个时候就有很多人说，我就换个请求头而已，需要这么麻烦吗? 当然，自然有简单的方式，只不过每次都需要复制来用，不是很方法，具体如下：

<span style="color:#000000"><code class="language-python">ua <span style="color:#a67f59">=</span> <span style="color:#999999">[</span><span style="color:#50a14f">"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36,Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.93 Safari/537.36"</span>
<span style="color:#50a14f">"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36,Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.17 Safari/537.36"</span>
<span style="color:#50a14f">"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36,Mozilla/5.0 (X11; NetBSD) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.116 Safari/537.36"</span><span style="color:#999999">]</span>
</code></span>

预先把请求头放入数组里面，然后用就可以了。

<span style="color:#000000"><code class="language-python"><span style="color:#0077aa">import</span> random
ua <span style="color:#a67f59">=</span> <span style="color:#999999">[</span><span style="color:#999999">.</span><span style="color:#999999">.</span><span style="color:#999999">.</span><span style="color:#999999">.</span><span style="color:#999999">.</span><span style="color:#999999">]</span>
r <span style="color:#a67f59">=</span> requests<span style="color:#999999">.</span>get<span style="color:#999999">(</span>url<span style="color:#999999">,</span> headers<span style="color:#a67f59">=</span><span style="color:#999999">{</span><span style="color:#50a14f">"user-agent"</span><span style="color:#999999">:</span>random<span style="color:#999999">.</span>choice<span style="color:#999999">(</span>ua<span style="color:#999999">)</span><span style="color:#999999">}</span><span style="color:#999999">)</span></code></span>

hzp666

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
爬虫换个头，我用python实现三种随机请求头方式

思路介绍:其实要达到随机的效果，很大程度上我们可以利用随机函数库random这个来实现，可以调用random.choice([user-agent])随机pick数组中一个就可以了，这是我的一种方式。 python作为一个拥有众多第三方包的语言，自然就有可以生成随机请求头的包咯，没错，就是fake-useragent这个第三方库了，稍后我们介绍一下这个函数库的简单使用。既然别人可以写第三方库，自然自己也可以实现一个这样的功能，大部分情况下，我很多代码都是直接调用我自己实现的一个GetUser...
复制链接

扫一扫