对于一般的proxy设置
可以参考:静态网页爬取
对于web客户端授权的验证
如下网页的验证,无法查看网页源码的。比如登录ftp。
可以使用如下代码:
# -*- coding:utf-8 -*-
import urllib.request
test = "admin"
password = "admin"
webserver = "192.168.1.1"
# 构建一个密码管理对象,可以用来保存和HTTP请求相关的授权账户信息
passwordMgr = urllib.request.HTTPPasswordMgrWithDefaultRealm()
# 添加授权账户信息,第一个参数realm如果没有指定就写None,后三个分别是站点IP,账户和密码
passwordMgr.add_password(None, webserver, test, password)
# HTTPBasicAuthHandler() HTTP基础验证处理器类
httpauth_handler = urllib.request.HTTPBasicAuthHandler(passwordMgr)
# 处理代理基础验证相关的处理器类
# 同https://blog.csdn.net/qwdpoiguw/article/details/79431328
#proxyauth_handler = urllib.request.ProxyBasicAuthHandler(passwordMgr)
# 构建自定义opener
opener = urllib.request.build_opener(httpauth_handler,
#proxyauth_handler
)
urllib.request.install_opener(opener)
request = urllib.request.Request("http://192.168.1.1/")
# 用授权验证信息
response = opener.open(request)
print(response.read())