Python 爬虫使用固定代理IP

购买的固定代理IP一般都需要账号密码, 在网上找了几个使用方法,但是都报错,所以,就想了这个笨办法,如有好办法希望大家指点。

'''
遇到问题没人解答?小编创建了一个Python学习交流QQ群:579817333 
寻找有志同道合的小伙伴,互帮互助,群里还有不错的视频学习教程和PDF电子书!
'''
import requests
from requests.auth import HTTPBasicAuth

proxy = {
    'http': 'http://ip:port',
    'https': 'https://ip:port8'
}
head = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
                  'Chrome/50.0.2661.102 Safari/537.36',
    'Connection': 'keep-alive',
    'Proxy-Authorization': '...' # 在浏览器中获取此值
}
p = requests.get('http://icanhazip.com', headers=head)
print(p.content.decode('utf-8'))

----------------------------------------- 下面是获取Proxy-Authorization的方法---------------------------------------------------

首先,就是获取在headers 中的 Proxy-Authorization

用的是Chrome浏览器, 设置代理ip

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
然后点击 确定

打开一个新的网页, 随意登录一个网站
在这里插入图片描述
登录后, 访问 http://127.0.0.1
在这里插入图片描述
在scrapy的中间件中添加:

'''
遇到问题没人解答?小编创建了一个Python学习交流QQ群:579817333 
寻找有志同道合的小伙伴,互帮互助,群里还有不错的视频学习教程和PDF电子书!
'''
request.meta['proxy'] = "http://ip:port"

# 添加Proxy-Authorization对应得值,添加在请求的headers中
request.headers['Proxy-Authorization'] = 'Basic ...........'

这样就将固定ip设置为代理了~

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值