requests 使用代理验证

原创 2016年08月29日 15:26:13
from requests.auth import HTTPProxyAuth

url = ...
timeout = ...
headers = {}
auth = HTTPProxyAuth(user, password)
proxies = {"http": "http://%s:8010/" % host}
if url.startswith("https:"):
    url = "http://" + url[8:]
    #https 请求需要设置
    headers["x-crawlera-use-https"] = "1"
r = requests.get(url,
                 headers=headers,
                 proxies=proxies,
                 timeout=timeout,
                 auth=auth,
                 allow_redirects=False)
版权声明:本文为博主原创文章,未经博主允许不得转载。 举报

相关文章推荐

图形验证码 Gem - RuCaptcha

图形验证码 Gem - RuCaptcha

Laravel 5.0 之表单验证类 (Form Requests)

让人头痛的表单验证  本文译自 Matt Stauffer 的 系列文章 .  只要你曾经在使用 Laravel 框架的过程中试图找到有关用户输入验证的最佳实践, 你就应该了解这是一个争论最多并且几乎...

我是如何成为一名python大咖的?

人生苦短,都说必须python,那么我分享下我是如何从小白成为Python资深开发者的吧。2014年我大学刚毕业..

ExtJs学习(一) Ext.data.Model

一、创建Model Model代表应用程序管理的一些对象,可理解为Java中的类。Model定义为字段、任意方法和与模型相关的属性的集合。 Ext.onReady(function(){ //利...

使用JAVA代码生成验证码

package com.yufan.test.servlet; import java.awt.Color; import java.awt.Font; import java.awt....

验证码使用

很多网站都要加验证码,主要就是防止机器破解。 下面介绍一个简单的验证码使用方法(就是数字那种) 使用这个jar ----kaptcha-2.3.2.jar jar包连接 web-xml Ka...

Android实战简易教程<四十一>(显示倒计时的Button-适用于获取验证码)

最近在做获取验证码的功能,考虑到优良的用户体验,决定制作一个拥有倒计时提示的Button按钮,在网上查了一些资料,很是简单的就能实现,我写了一个小Demo,大家可以应用到自己的项目中。 一、代码 ...

shell 5设置内网上网代理

我们有时候在公司的内网,上网必须设置代理服务器,浏览器的话简单就可以设置,如果使用像shell5这样的链接工具,该如何设置上网代理呢 文件-->新建,此时,代理一项不能点击,先填上欲链接的服...

ThinkPHP的使用(七)验证码的使用,及Ajax验证

AdminController.class.php相关代码 //验证码类 public function verifyImg(){ $cfg=array( 'imageH' ...

Java动态代理类使用

Java动态代理类使用 Java动态代理类位于Java.lang.reflect包下,一般主要涉及到以下两个类: 一、Interface InvocationHandler:该接口中仅...

简单使用requests库爬取Ip代理

简单使用requests库爬取Ip代理想必喜欢爬虫的小伙伴都知道,当你刚入门爬虫的时候通过一些基本的方法来访问网站,往往“爬得一时爽”,然而没过多久,IDE便会返回各种各样的错误信息,告诉你,爬虫失败...
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)