爬虫接入讯代理动态转发代理

本文展示了如何在Python3中使用讯代理动态转发代理进行网络请求。通过设置HTTP和HTTPS代理,结合Proxy-Authorization头进行授权验证,实现对目标网站的爬取。示例代码中,首先构建了认证字符串并计算MD5签名,然后利用requests库发送GET请求,并处理可能的重定向。
摘要由CSDN通过智能技术生成

#!/usr/bin/python3
import sys
import time
import hashlib
import requests
import urllib3
from lxml import etree

urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)
_version = sys.version_info

is_python3 = (_version[0] == 3)

orderno = “ZF20179xxxxxxxxx”
secret = “3f9c2ecac7xxxxxxxxxxxxxxxx”

ip = “forward.xdaili.cn”
port = “80”

ip_port = ip + “:” + port

timestamp = str(int(time.time()))
string = “”
string = “orderno=” + orderno + “,” + “secret=” + secret + “,” + “timestamp=” + timestamp

if is_python3:
string = string.encode()

md5_string = hashlib.md5(string).hexdigest()
sign = md5_string.upper()
#print(sign)
auth = “sign=” + sign + “&” + “orderno=” + orderno + “&” + “ti

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值