urllib2中使用http、https代理

最新推荐文章于 2019-08-29 15:58:05 发布
最新推荐文章于 2019-08-29 15:58:05 发布
阅读量1.4w 收藏
点赞数
分类专栏： Python 文章标签： basic header url
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liukeforever/article/details/6311282
版权

urllib2中使用http、https代理

proxy=urllib2.ProxyHandler({'https': 'http://lk:2002@172.17.5.53:80'})
opener=urllib2.build_opener(proxy)
urllib2.install_opener(opener)

proxy=urllib2.ProxyHandler({'http': 'http://lk:2002@172.17.5.53:80'})
opener=urllib2.build_opener(proxy)
urllib2.install_opener(opener)

 

>>> urllib2.urlopen('https://ajax.googleapis.com/ajax/services/search/images?v=1.0&q=monkey&as_filetype=png&imgtype=clipart&imgc=color&rsz=8')
send: 'GET https://ajax.googleapis.com/ajax/services/search/images?v=1.0&q=monkey&as_filetype=png&imgtype=clipart&imgc=color&rsz=8 HTTP/1.1/r/nAccept-Encoding: identity/r/nHost: ajax.googleapis.com/r/nProxy-Authorization: Basic bGs6MjAwMg==/r/nConnection: close/r/nUser-Agent: Python-urllib/2.6/r/n/r/n'
reply: 'HTTP/1.0 200 OK/r/n'
header: Content-Type: text/html

header: Refresh: 0; URL=https://ajax.googleapis.com/ajax/services/search/images?v=1.0&q=monkey&as_filetype=png&imgtype=clipart&imgc=color&rsz=8

 

liukeforever
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
node-https-proxy-agent, HTTPS端点的HTTP代理 `http.Agent` 实现.zip
10-10
node-https-proxy-agent, HTTPS端点的HTTP代理 `http.Agent` 实现 https-proxy-agent HTTPS的HTTP代理 http.Agent 实现 这个模块为连接到指定的HTTP或者HTTPS代理服务器提供了 http.Agent 实现，并且可以与内置的https 模块一起使用。具体地
Python urllib2 proxy
weixin_34174422的博客
04-26 251
在 正式并入某大公司之后，网络必须设置为统一的proxy，好的方面没看到，但是立即让我一的一个小工具不能工作了。在之前使用urllib2库，无需设置proxy，一切工作正常。在必须使用proxy之后，遇到了一系列的问题1. 使用urllib2的proxy import urllib2 enable_proxy = True proxy_handler = urllib2.ProxyH...
python使用urllib2实现http代理请求
weixin_30678349的博客
03-24 170
方法一： 1 #coding=gb2312 2 import urllib2; 3 proxy_handler = urllib2.ProxyHandler({'http':'61.184.192.42:80'}); 4 #此处替换代理IP和端口 5 opener = urllib2.build_opener(proxy_handler) ; 6 f=opener.open...
python urllib2的proxyhandler
fengyufengzi的专栏
09-03 963
1. 再a方法中新建了个opener，使用了代理： 　　 proxydict = {} proxydict['http'] = "http://%s:%s"%(ip,port) #print proxydict proxy_handler = urllib2.ProxyHandler(proxydict) opener = urllib2.build_
urllib2使用代理ip和header打开网页
03-04
urllib2使用代理ip和改变header打开网页，proxy和headers。
Python使用urllib2获取网络资源实例讲解
12-25
urllib2支持获取不同格式的URLs(在URL的”:”前定义的字串,例如：”ftp”是”ftp:python.ort/”的前缀),它们利用它们相关网络协议(例如FTP,HTTP)进行获取。这篇教程关注最广泛的应用–HTTP。对于简单的应用，urlopen...
零基础写python爬虫之urllib2使用指南
12-23
前面说到了urllib2的简单入门，下面整理了一部分urllib2的使用细节。 1.Proxy 的设置 urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy。 如果想在程序中明确控制 Proxy 而不受环境变量的影响，可以使用...
Python3中使用urllib的方法详解(header,代理,超时,认证,异常处理)
01-20
我们可以利用urllib来抓取远程的数据进行保存哦，以下是python3 抓取...2、使用 Request import urllib.request req = urllib.request.Request('http://python.org/') response = urllib.request.urlopen(req) the_p
Python urllib、urllib2、httplib抓取网页代码实例
01-20
使用urllib2，太强大了 试了下用代理登陆拉取cookie，跳转抓图片…… 文档：http://docs.python.org/library/urllib2.html 直接上demo代码了 包括：直接拉取，使用Reuqest(post/get),使用代理，cookie,跳转处理 #!/...
https-agent:具有透明代理支持的 Node 的 HTTPS 代理
07-07
https代理 具有透明代理支持的 Node 的 HTTPS 代理 创建一个使用https_proxy环境变量自动处理代理隧道的。 然后，您可以将代理插入您选择的 HTTP 客户端，并使用 SSL 客户端身份验证发出请求。 安装 npm install https-agent 用法 var httpsAgent = require ( 'https-agent' ) ; var fs = require ( 'fs' ) ; var agent = httpsAgent ( { pfx : fs . readFileSync ( '/path/to/client.p12' ) , passphrase : 'client' } ) ; 创建代理时支持所有标准。 对 PKCS12 格式的cert使用pfx和passphrase选项，或对单独的证书和密钥文件使用cert和key
anyproxy, 在NodeJS中，一个完全可以配置的http/https代理.zip
10-10
anyproxy, 在NodeJS中，一个完全可以配置的http/https代理 AnyProxy AnyProxy是NodeJS中完全可以配置的http/https代理。主页：AnyProxy.io问题：https://github.com/alibaba/anyproxy/issues主页：
Python Urllib2使用：代理及其它
Coding、Learning and Sharing
02-17 507
 Python Urllib2使用   我们先看下Python对于Urllib2的解释： urllib2：An extensible library for opening URLs using a variety of protocols The urllib2（http://docs.python.org/2/library/urllib2.html） module defines...
urllib2详解
weixin_34345753的博客
09-15 241
先发个牢骚：博客园这服务器也太破了吧！每次想写个什么东西这慢的，要不是看上这编辑器还不错，真难以忍受。下面是正题： 先发段代码： main() { printf(&unix["\021%six\012\0"],(unix)["have"]+"fun"-0x60);} 以上的一条代码是1987年，由贝尔实验室的David Korn提交的获奖作品，为什么我想起这茬儿呢？还不是...
07 爬虫 - urllib2 处理HTTPS请求 SSL证书验证
阿甘兄
08-29 1233
现在随处可见 https 开头的网站，urllib2可以为 HTTPS 请求验证SSL证书，就像web浏览器一样，如果网站的SSL证书是经过CA认证的，则能够正常访问，如：https://www.baidu.com/等… 如果SSL证书验证不通过，或者操作系统不信任服务器的安全证书，比如浏览器在访问12306网站如：https://www.12306.cn/mormhweb/的时候，会警告用户证书...
使用urllib2访问https ——ssl.c:503 错误
u012795120的博客
07-12 926
环境：python2.7.5 描述：使用urllib2访问部分https网站时出现 ——ssl.c:503 错误。 解决方法：将python版本升级到2.7.11，错误解决。
python urllib2访问https报错CERTIFICATE_VERIFY_FAILED
CommanderZero的博客
04-16 545
近期使用了一段开源的python脚本，脚本中使用了urllib2来作为HTTP客户端，在访问https站点时报下面的错误： First request to SP failed: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] cert ificate verify failed (_ssl.c:726)> 代码如下： # cr...
urllib模块加代理需要代理身份验证
最新发布
07-15
您可以使用urllib模块加代理进行身份验证。下面是一个示例代码，演示如何在urllib中使用代理进行身份验证： ```python import urllib.request proxy_handler = urllib.request.ProxyHandler({'http': 'http://proxy_username:proxy_password@proxy_ip:proxy_port'}) opener = urllib.request.build_opener(proxy_handler) urllib.request.install_opener(opener) url = 'http://example.com' req = urllib.request.Request(url) try: response = urllib.request.urlopen(req) print(response.read().decode('utf-8')) except urllib.error.HTTPError as e: print(e) ``` 请将`proxy_username`替换为代理的用户名，`proxy_password`替换为代理的密码，`proxy_ip`替换为代理服务器的IP地址，`proxy_port`替换为代理服务器的端口号。同时，将`http://example.com`替换为要访问的网址。 这样，您就可以使用urllib模块加代理进行身份验证了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值