Fake-Useragent包的替代方法（随机UA）

什么都干的派森

已于 2023-02-01 16:53:25 修改

阅读量4.8k

点赞数 6

分类专栏： Python python高级文章标签：爬虫 http python

于 2021-10-11 08:45:04 首次发布

本文链接：https://blog.csdn.net/weixin_43721000/article/details/120695975

版权

python高级同时被 2 个专栏收录

32 篇文章 16 订阅 ¥49.90 ¥99.00

订阅专栏

Python

122 篇文章 26 订阅

订阅专栏

在遇到Fake-Useragent模块导致的错误时，作者选择了自行编写代码来生成随机用户代理（UA），以实现爬虫中更好地模拟浏览器行为。

摘要由CSDN通过智能技术生成

Fake-Useragent模块总是报一些奇怪的错误，于是自己写了一个随机UA

import random


# 随机获取一个请求头
class RandomUserAgent():

    # 设备类型标识
    PC = '0'
    PHONE = '1'
    ALL = '2'

    # pc
    USER

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

什么都干的派森

关注关注

6
点赞
踩
18

收藏

觉得还不错? 一键收藏
打赏
10
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

使用fake_useragent模块快速生成随机UA

孤寒者的博客

10-29

1万+

问题引入：最简单的反爬，通过UA进行反爬；解决措施也很简单，加上请求头UA即可，但是CV略显麻烦不是，今天来使用fake_useragent模块来快速生成供我们使用的UA！！！ 1.安装： pip install fake_useragent -i https://mirrors.aliyun.com/pypi/simple/ 2.简单使用： ...

java修改user-agent_设置随机 User-Agent

weixin_42368226的博客

02-25

2269

本文转载自以下网站: Scrapy 中设置随机 User-Agent 的方法汇总 https://www.makcyun.top/web_scraping_withpython14.html一行代码搞定 Scrapy 中的随机 UA 设置。摘要：爬虫过程中的反爬措施非常重要，其中设置随机 User-Agent 是一项重要的反爬措施，Scrapy 中设置随机 UA 的方式有很多种，有的复杂有的简单，...

10 条评论您还未登录，请先登录后发表或查看评论

探索假造用户代理的奥秘：fake-useragent使用指南与解析

最新发布

gitblog_00344的博客

08-09

482

探索假造用户代理的奥秘：fake-useragent使用指南与解析 fake-useragent项目地址:https://gitcode.com/gh_mirrors/fak/fake-useragent 在数字世界的深邃角落，数据抓取与自动化测试常常遇到严格的访问限制。这时，一个强大的工具——fake-useragent，成为我们手中的利剑，穿透这些障碍，轻松模拟各种浏览器环境。本文将深度剖析...

scrapy user-agent和IP 代理的设置

浮云

01-10

312

class RandomUserAgentMiddleware(object): """随机请求头""" user_agent = [ "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)", "Mozilla/4.0 (compatible; MSIE 7.0; Windo...

fake-useragent 替代库 anole

DataWizard

08-11

870

fake-useragent替代库anole 安装使用：pip install anole 下面为官网译文： Project description 项目描述 Like a anole, fake everything. 像小丑一样，假装一切。 Currently support user agent and name fake, other will be coming soon. 目前支持用户代理和假名，其他将很快到来。 Thanks for use. 谢谢你的使用 How to use 如何使用 fr

python使用fake_useragent报错，如何解决？可以用my_fake_useragent来代替，实现用样的效果

SetsunaLan的博客

07-26

812

>>> 水一篇文使用fake_useragent报错，报错信息为Maximum amount of retries reached，可以用my_fake_useragent来代替，能实现同样的效果，条条大路通罗马，不用局限于一种方法 emm~，如果嫌弃my_fake_useragent比较长，那怎么解决fake_useragent报错的问题？可以按住Ctrl键的同时鼠标点击FakeUserAgent，查看源代码。用同样的方法进入settings，找...

Python 设置随机 User-Agent （利用 fake_useragent包）

c_lanxiaofang的博客

01-27

6876

（利用 fake_useragent包） 1、win + R 进入cmd命令行，输入： pip install fake-useragent （或者直接在 Pycharm 的 Terminal 中输入：也可以 pip install fake-useragent ） 2、在Pycharm 中的python文件中写： from fake_useragent imp...

python爬虫，看完发小阿水决心去城发展，村花都留不住

林高禄

12-29

4252

爬虫1：爬虫基础入门1-1：爬虫简介1-2：爬虫是违法的吗1-3：http和https协议1-4：第一个爬虫程序-requests模块1-5：乱码问题2：requests模块深入学习2-1：图片和视频数据的爬取2-2：传参2-3：UA伪装2-4：UA伪装头部信息模块UserAgent2-5：cookie2-6：代理2-7：验证码3：巩固练习3-1：爬取豆瓣电影分类排行榜 - 情色片3-2：获取淘宝首页的搜索提示3-3：获取我房网新房列表的价格走势数据3-4：获取爱奇艺用户的播放记录4：数据解析4-1：jso

44-5 waf绕过 - SQL注入绕WAF方法

weixin_43263566的博客

06-04

133

内联注释是一种特殊的注释格式，在其后面紧跟着数据库版本号时，如果实际的数据库版本等于或高于该字符串，则应用程序会将注释内容解释为SQL语句，否则将其视为注释处理。默认情况下，如果没有指定版本号，内联注释中的内容将会执行。首先经过测试发现安全狗并不是直接过滤 and 关键字，而是过滤 adn + 一个表达式，如：and 1=1 这种才会被过滤。如果你要使用order by进行爆列，会发现也被过滤了，绕过：使用 group by 绕过。/ 之后的注释内容则会被真正地注释掉，失去作用。

爬虫基本原理与实战---1、爬虫实战概述

大发的博客

04-13

2493

一、开发前准备 1、开发环境准备基础准备(win10) 参考：python2与python3共存安装参考： pycharm安装及永久激活参考： mysql及navicat安装与使用及navicat破解参考：安装cmder替代cmd 推荐虚拟环境搭建进入到想要存放虚拟环境的目录下，安装virtualenvwrapper： pip in...

PyPI 官网下载 | fake_user_agent-0.0.4.tar.gz

01-11

资源来自pypi官网。资源全名：fake_user_agent-0.0.4.tar.gz

Go-FakeUseragent各种各样的随机浏览器头useragents

08-14

Fake Useragent：各种各样的随机浏览器头 useragents

Find-Sec-Bugs 漏洞范例

zhaohonghan的博客

04-03

1万+

Find-Sec-Bugs 漏洞范例欢迎使用Markdown编辑器你好！这是你第一次使用 Markdown编辑器所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： ...

随机生成UserAgent包之fake-useragent

weixin_30480583的博客

03-21

227

一、安装 pip install fake-usragent 二、使用 1.导包 from fake-useragent import UserAgent 2.实例化 ua = UserAgent() 3.使用 ua.ie # 随机生成IE浏览器的UserAgent ua.firefox #随机生成firefox浏览器的UserAgent ua.c...

使用fake-useragent自动更换UserAgent

热门推荐

Good Luck

06-18

8万+

安装： pip install fake-useragent 使用： from fake_useragent import UserAgent if __name__ == '__main__': agent__random = UserAgent().random print(str(agent__random))

Python 爬虫工具 —— fake_useragent

weixin_30498921的博客

05-28

294

服务器为避免爬虫工具无休止的请求，以减轻负载，会对 user agent 进行校验，即判断某一 user-agent 是否不断地进行请求。可采用如下方式进行绕过服务器的校验。 UserAgent_List = [ "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrom...

反爬虫机制（一）----伪装User-Agent之fake-useragent

ITYTI的博客

11-05

3442

今天首先讲解反爬机制的伪装User-Agent 第一种：在cmd命令行里用pip安装fake_useragent pip install fake-useragent 使用方法： from fake_useragent import UserAgent import random fake_ua=UserAgent() # 构建UserAgent()对象 headers = {'Us...

Python：fake-useragent 伪装请求头

guliang21的专栏

10-29

960

Python：fake-useragent 伪装请求头写爬虫的时候，在进行 request 请求的时候，多数情况下需要添加请求头，否则就不能正常请求。添加请求头最常用的做法是修改 User-Agent 来伪装浏览器。以前在写请求头的时候，都是通过 copy 来解决的，昨天看到了一个库 fake-useragent，以后再也不用烦恼了。官网地址：https://pypi.org/pr...

python爬虫随机生成headers

04-08

可以使用Python的random模块来生成随机的headers。例如： ``` import random # 构造随机的user-agent列表 user_agents = [ 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3', 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0', 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 OPR/45.0.2552.888', 'Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; AS; rv:11.0) like Gecko', 'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; AS; rv:11.0) like Gecko', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299' ] # 随机选择一个user-agent headers = { 'User-Agent': random.choice(user_agents) } print(headers) ``` 这样就可以生成一个随机的headers了。