requests 使用代理验证

原创 2016年08月29日 15:26:13
from requests.auth import HTTPProxyAuth

url = ...
timeout = ...
headers = {}
auth = HTTPProxyAuth(user, password)
proxies = {"http": "http://%s:8010/" % host}
if url.startswith("https:"):
    url = "http://" + url[8:]
    #https 请求需要设置
    headers["x-crawlera-use-https"] = "1"
r = requests.get(url,
                 headers=headers,
                 proxies=proxies,
                 timeout=timeout,
                 auth=auth,
                 allow_redirects=False)
版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

python3中使用requests和beautifulsoup爬取西刺免费代理IP 入库mongo!

import requests # 使用requests获取源码信息 import pymongo # 入库mongo from bs4 import BeautifulSoup # 使用Bea...

requests有意思的proxies参数-何时使用代理有效

现在要访问一个目标地址是http的地址:http://icanhazip.com/,这个地址可以获取机器的外网ip 理论上,由于上述地址是http的,所以使用http代理会通过代理访问该地址,即 ...

Python使用requests库模拟登陆网站的方式--以豆瓣为例

初次接触爬虫的时候,总会看到模拟登录网站的字眼,然后又是get、post等一堆不知道什么意思的字眼。百度get、post之后也不太清楚什么意思,只知道好像是打开网址的时候顺便提交一些数据。然后又在想:...

requests有关cookie的使用

requests有关cookie的使用最近用requests把百度贴吧的脚本重写了一遍,把用urllib模拟登陆的部分全部重写了一遍,算是渗入接触了一下requests,感觉确实方便了很多。...
  • zhu_free
  • zhu_free
  • 2016年01月22日 18:47
  • 18609

Python之Requests模块使用详解

Requests模块是一个用于网络访问的模块,其实类似的模块有很多,比如urllib,urllib2,httplib,httplib2,他们基本都提供相似的功能,那为什么Requests模块就能够脱引...

使用Python的requests库进行接口测试——session对象的妙用

在进行接口测试的时候,我们会调用多个接口发出多个请求,在这些请求中有时候需要保持一些共用的数据,例如cookies信息。requests库的session对象能够帮我们跨请求保持某些参数,也会在同一个...

python3使用requests包抓取并保存网页源码

转载自:http://blog.csdn.net/w93223010/article/details/18968081 近期的工作学习中使用到了Python,分享一些初学者的心得与君...

python3爬虫攻略(9):requests的使用

Requests 唯一的一个非转基因的 Python HTTP 库,人类可以安全享用。 Requests继承了urllib的所有特性。 Requests支持HTTP连接保持和连接池,支持使用coo...

使用pytest+requests进行接口测试实践——测试post请求

还是以Jenkins接口测试为例,Jenkins提供了“禁用”和“启用”job的接口,这个接口的方法是POST方法。我们就以这个接口为例。 我们先点击任何一个job,比如“PythonRun”这个jo...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:requests 使用代理验证
举报原因:
原因补充:

(最多只允许输入30个字)