关于 爬虫使用 urllib.urlopen 提交默认 User-Agent值

最新推荐文章于 2023-06-10 18:59:23 发布
最新推荐文章于 2023-06-10 18:59:23 发布
阅读量444 收藏 1
点赞数
文章标签： 爬虫 移动开发 python
原文链接：http://www.cnblogs.com/bcode/p/6684254.html
版权

在爬虫中经常会用到 urllib.request.urlopen(url）来打开网页的操作 比如获取页面状态返回值

问题是urlopen 在GET请求时 发送的User-Agent 上会发送Python urllib的版本，看下面抓包

 

GET /xxx.do?p=xxxxxxxx HTTP/1.1
Accept-Encoding: identity
Host: XXX.xxx.com
Connection: close
User-Agent: Python-urllib/3.4

　　

看一下源码

 

 

 

 

正常的请求应该是浏览器的 User-Agent

假如使用一些过滤分析到 User-Agent值包含Python ;urllib （requests 没有测试过）之类的值就可以判断这个请求为网络蜘蛛在抓取数据。

是不是可以使用Panabit ROS的7层过滤  甚至使用7层防火墙添加规则过滤User-Agent 值为 Python；urllib 的请求 并获取发送者IP添加到黑名单来防止获取？

如何修改 urlopen 默认提交的 User-Agent呢？

其实很简单

#先创建请求的包头结构

req = urllib.request.Request(url)

req.add_hedaer("User-Agent","Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.")

#再open
urllib.request.urlopen(req)

 

实例截图使用的随机User-Agent请自行测试　

　

 

 

 

下面是我从网上找的和自己抓包获取的一些 User-Agent

ua = [
"UCWEB7.0.2.37/28/999",
"Opera/9.80 (Android 2.3.4; Linux; Opera Mobi/build-1107180945; U; en-GB) Presto/2.8.149 Version/11.10",
"Opera/8.0 (Windows NT 5.1; U; en)",
"Openwave/ UCWEB7.0.2.37/28/999",
"NOKIA5700/ UCWEB7.0.2.37/28/999",
"MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
"Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10",
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11",
"Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.133 Safari/534.16",
"Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko",
"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:7.0a1) Gecko/20110623 Firefox/7.0a1 Fennec/7.0a1",
"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Maxthon/4.4.3.4000 Chrome/30.0.1599.101 Safari/537.36",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 UBrowser/4.0.3214.0 Safari/537.36",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.101 Safari/537.36",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 Safari/536.11",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2 ",
"Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208 Firefox/2.0.0 Opera 9.50",
"Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 SE 2.X MetaSr 1.0",
"Mozilla/5.0 (SymbianOS/9.4; Series60/5.0 NokiaN97-1/20.0.019; Profile/MIDP-2.1 Configuration/CLDC-1.1) AppleWebKit/525 (KHTML, like Gecko) BrowserNG/7.1.18124",
"Mozilla/5.0 (SymbianOS/9.4; Series60/5.0 NokiaN97-1/20.0.019; Profile/MIDP-2.1 Configuration/CLDC-1.1) AppleWebKit/525 (KHTML, like Gecko) BrowserNG/7.1.1812",
"Mozilla/5.0 (Linux; U; Android 6.0.1; zh-cn; Redmi 3S Build/MMB29M) AppleWebKit/537.36 (KHTML, like Gecko)Version/4.0 Chrome/37.0.0.0 MQQBrowser/7.3 Mobile Safari/537.36",
"Mozilla/5.0 (Linux; U; Android 6.0.1; zh-cn; Redmi 3S Build/MMB29M) AppleWebKit/533.1 (KHTML, like Gecko) Mobile Safari/533.1",
"Mozilla/5.0 (Linux; U; Android 3.0; en-us; Xoom Build/HRI39) AppleWebKit/534.13 (KHTML, like Gecko) Version/4.0 Safari/534.13",
"Mozilla/5.0 (Linux; U; Android 2.3.7; en-us; Nexus One Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
"Mozilla/5.0 (Linux; U; Android 2.2.1; zh-cn; HTC_Wildfire_A3333 Build/FRG83D) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
"Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.",
"Mozilla/5.0 (Linux; Android 6.0.1; Redmi 3S Build/MMB29M; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/53.0.2785.49 Mobile MQQBrowser/6.2 TBS/043124 Safari/537.36 MicroMessenger/6.5.7.1041 NetType/WIFI Language/zh_CN",
"Mozilla/5.0 (Linux; Android 6.0.1; Redmi 3S Build/MMB29M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.94 Mobile Safari/537.36",
"Mozilla/5.0 (Linux; Android 5.1.1; SAMSUNG SM-N9200 Build/LMY47X) AppleWebKit/537.36 (KHTML, like Gecko) SamsungBrowser/3.4 Chrome/38.0.2125.102 Mobile Safari/537.36",
"Mozilla/5.0 (Linux; Android 4.4.4; en-us; Nexus 5 Build/JOP40D) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2307.2 Mobile Safari/537.36",
"Mozilla/5.0 (iPod; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
"Mozilla/5.0 (iPhone; U; CPU iPhone OS 5_1_1 like Mac OS X; en-us) AppleWebKit/534.46 (KHTML, like Gecko) Version/5.1 Mobile/9B206 Safari/7534.48.3 XiaoMi/MiuiBrowser/8.7.0",
"Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
"Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_0 like Mac OS X; en-us) AppleWebKit/532.9 (KHTML, like Gecko) Version/4.0.5 Mobile/8A293 Safari/6531.22.7",
"Mozilla/5.0 (iPhone; U; CPU iPhone OS 3_0 like Mac OS X; en-us) AppleWebKit/420.1 (KHTML, like Gecko) Version/3.0 Mobile/1A542a Safari/419.3",
"Mozilla/5.0 (iPad; U; CPU OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
"Mozilla/5.0 (iPad; U; CPU OS 4_2_1 like Mac OS X; zh-cn) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8C148 Safari/6533.18.5",
"Mozilla/5.0 (iPad; U; CPU OS 3_2 like Mac OS X; en-us) AppleWebKit/531.21.10 (KHTML, like Gecko) Version/4.0.4 Mobile/7B334b Safari/531.21.10",
"Mozilla/5.0 (hp-tablet; Linux; hpwOS/3.0.0; U; en-US) AppleWebKit/534.6 (KHTML, like Gecko) wOSBrowser/233.70 Safari/534.6 TouchPad/1.0",
"Mozilla/5.0 (compatible; MSIE 9.0; Windows Phone OS 7.5; Trident/5.0; IEMobile/9.0; HTC; Titan)",
"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; QQBrowser/7.0.3698.400)",
"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; LBBROWSER) ",
"Mozilla/5.0 (BlackBerry; U; BlackBerry 9800; en) AppleWebKit/534.1+ (KHTML, like Gecko) Version/6.0.0.337 Mobile Safari/534.1+",
"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; SE 2.X MetaSr 1.0) ",
"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E; LBBROWSER)",
"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E) ",
"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; en) Opera 9.50",
"JUC (Linux; U; 2.3.7; zh-cn; MB200; 320*480) UCWEB7.9.3.103/139/999",
"Dalvik/2.1.0 (Linux; U; Android 6.0.1; Redmi 3S MIUI/7.3.9)",
"Dalvik/1.6.0 (Linux; U; Android 4.4; Nexus 5 Build/KRT16M)",
]

ua = random.choice(ua)
print (ua)

　　

随机获取一个就可以使用了 

 

转载于:https://www.cnblogs.com/bcode/p/6684254.html

weixin_30808575
关注
【爬虫学习笔记day09】1.7. 参考阅读：urllib模块的基本使用+urllib库的基本使用+urlopen +Request+User-Agent+添加更多的Header信息
汪雯琦的博客
01-29 453
文章目录1.7. 参考阅读：urllib模块的基本使用urllib库的基本使用urlopenRequest运行结果是完全一样的：User-Agent添加更多的Header信息 1.7. 参考阅读：urllib模块的基本使用 接下来，让我们真正迈向我们的爬虫之路吧！ urllib库的基本使用 所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。 在Python中有很多库可...
爬虫urllib。request中各种处理器，构造opener。open（处理登陆验证的，处理cookies的，处理代理设置的）
Ren_ger的博客
08-08 2330
高级用法  (都不是很懂，所以看之后实践过程中使用吧) 更强大的工具Handler登场  ，可以理解为各种处理器，有专门处理登陆验证的，有处理cookies的，有处理代理设置的。利用它们，我们几乎可以做到HTTP请求中的所有事。 首先介绍的BaseHandler类，它是所有Handler的父类，它提供了最基本的方法，例如default_open()、protocol_request()等 ...
修改urllib2源代码，定制User-Agent，一劳永逸
weixin_34270606的博客
05-06 106
我经常用到urllib2这个库，基本上每次都要添加 User-Agent 为一个模拟浏览器的值。   突然想到，能不能直接修改源代码，添加 User-Agent 的值。   google 到 https://docs.python.org/2/library/urllib2.html 其中有解释说： headers should be a dictionary, and will ...
Python爬虫urllib2之User-Agent、urllib2.Request ()、urllib2.urlopen()作用
weixin_44415461的博客
07-22 816
# -*- coding: UTF-8 -*- import urllib2 #User-Agent 是爬虫和反爬虫斗争的第一步 ua_headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:67.0) Gecko/20100101 Firefox/67.0" } #通过urllib2.Request() ...
【urllib添加User-Agent防止反爬】、【urllib使用IP代理防止反爬】
bettyantony的博客
02-12 604
一、添加User-Agent防止反爬 1.User-Agent的用处：模拟真实的浏览器发送请求，防止反爬。 2.添加请求头的两种方式 ①添加headers的方法1：在urllib.request.Request（url，headers=XXX）中进行传参，代码如下： url = "http://www.baidu.com/" #添加请求头的信息 header = { ...
爬虫库Urllib（urllib.request.Request与urllib.request.urlopen）
qq_35194427的博客
07-27 2501
Python3中-爬虫库Urllib概述urllib.request1. urllib.request.Request2. urllib.request.urlopen3. urllib.request.urlopen和urllib.request.Request实例演示 概述 问：Urllib能做什么？ 答：常用在爬虫开发、API(应用程序编程接口)数据获取、测试； 问：Urllib需要安装吗？ 答：Python自带的标准库，直接引用（import）即可； 问： Urllib、Urllib2和Urlli
python爬虫|urllib.request模块和urllib.parse模块使用
m0_60701922的博客
08-05 618
1 urllib.requst使用 1.1 基本介绍 1.2 urllib.request.urlopen 1.3 urllib.request.Request 2 urllib.parse 模块使用 2.1 urllib.parse.encode() 2.2 urllib.parse.quote()的使用 2.3 综合练习 3 爬虫百度贴吧练习 1. urllib requst使用 1.1 基本介绍 （1）介绍： urllib 的 request 模块可以发送请求，返回 response。 （2）用法：u
爬虫学习笔记（二）urllib——请求传参、user-agent、IP代理 2020.5.3
闵行小鱼塘
05-03 700
本节学习请求传参、user-agent、IP代理
python爬虫学习笔记.urllib的使用
qq_51102350的博客
04-22 442
一，urllib四大模块 1，request：基本的HTTP请求模块，可以用来模拟发送请求。 2，error：异常处理模块。 3，parse：工具模块，提供URL处理方法。 4，robotparse：识别网站的robot.txt文件，判断该网站是否可以爬。 二， ...
python3网络爬虫一《使用urllib.request发送请求》
热门推荐
软件测试技术的博客
10-23 7万+
python 爱好者交流群：810306356 这里有很多像你一样的伙伴，共同分享学习python的经验！ 使用urllib 在Python2版本中，有urllib和urlib2两个库可以用来实现request的发送。而在Python3中，已经不存在urllib2这个库了，统一为urllib。Python3 urllib库官方链接 https://docs.pytho...
学习笔记之urllib库
weixin_37938228的博客
03-11 262
urllib是Python内置的HTTP请求库，包含四个模块： urllib.request（请求模块），urllib.error（异常处理模块），urllib.parse（url解析模块，如拆分合并等），urllib.robotparser（robot.txt解析模块） 一.request模块 1.urlopen方法 urllib.request.urlopen(url,data=none,[t...
【Python爬虫】urllib模块，User-agent
最新发布
qq_58553228的博客
06-10 1826
urllib模块请求爬取html源码
【Python3爬虫(一)】【urlib.request模块】【urlopen+get请求加参数+header请求头+User-Agent+IP代理】
LinGavinQ
08-02 3002
本章主要内容：解析urlib.request模块。
设置用户代理User Agent访问网页(Python2.7)
程序员大阳
08-26 2579
一，概念User Agent用户代理，是一个标志，供服务端识别客户端的操作系统和浏览器情况。比如，如果想判断访问网站的浏览器是否是微信浏览器，就可以判断用户代理，来实现网页仅能从微信自带浏览器访问。二，在python中设置代理代码如下：#!/usr/bin/python2.7 # coding=UTF-8 import urllib2#变量区域 url="http://60.213.137.70/"
Python 爬虫之urllib库，及urllib库的4个模块基本使用和了解
09-19 3569
Python urllib 库用于操作网页 URL，并对网页的内容进行抓取处理。Python3 的 urllib。需要用的就是每个模块的内置方法和函数。
Python3爬虫(2)_利用urllib.urlopen发送数据获得反馈信息
04-26 280
一、urlopen的url参数 Agent url不仅可以是一个字符串，例如:https://baike.baidu.com/。url也可以是一个Request对象，这就需要我们先定义一个Request对象，然后将这个Request对象作为urlopen的参数使用， 代码: 1 from urllib import request 2 3 if __name__ == ...
Python3爬虫实战：使用urllib.request模块发送HTTP请求
"这篇教程详细介绍了Python3爬虫发送请求的相关知识，包括使用urllib.request模块的urlopen()函数来发起HTTP请求，并解析返回的HTTPResponse对象以获取网页内容和状态信息。" 在Python3中，进行网络爬虫时，发送...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值