学习日记:处理校验网页

本文介绍了如何使用Python的urllib库中的HTTPPasswordMgrWithDefaultRealm、HTTPBasicAuthHandler和build_opener等函数实现对https://ssr3.scrape.center/网站的HTTP基本认证,以进行数据抓取。如果请求失败,会捕获并打印URLError异常。
摘要由CSDN通过智能技术生成

from urllib.request import HTTPPasswordMgrWithDefaultRealm, HTTPBasicAuthHandler, build_opener
from urllib.error import URLError

username = 'admin'
password = 'admin'
url = "https://ssr3.scrape.center/"
p = HTTPPasswordMgrWithDefaultRealm()
p.add_password(None, url, username, password)

#实例化对象把HTTPPasswordMgrWithDefaultRealm作为参数传入
auth_handler = HTTPBasicAuthHandler(p)

#将创建的auth_handler作为参数传入build_opener
opener = build_opener(auth_handler)

try:

#利用Opener的open方法打开链接就可校验成功
result = opener.open(url)
html = result.read().decode('utf-8')
print(html)
except URLError as e:
print(e.reason)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值