关于 Web客户端的授权认证反爬处理技术

最新推荐文章于 2024-06-25 15:35:50 发布

进击的Spider

最新推荐文章于 2024-06-25 15:35:50 发布

阅读量211

点赞数

分类专栏： Python 爬虫

本文链接：https://blog.csdn.net/weixin_42552374/article/details/83629315

版权

Python 同时被 2 个专栏收录

42 篇文章 0 订阅

订阅专栏

爬虫

23 篇文章 0 订阅

订阅专栏

import urllib
import urllib.request


# urllib.error.HTTPError: HTTP Error 401: UNAUTHORIZED
url = 'http://127.0.0.1:80/'


# web授权，可以特定Handler
pwmgr = urllib.request.HTTPPasswordMgrWithDefaultRealm()

pwmgr.add_password(None,uri='http://127.0.0.1',user='admin',passwd='123456')

authHandler = urllib.request.HTTPBasicAuthHandler(password_mgr=pwmgr)

opener = urllib.request.build_opener(authHandler)

# 方式一，访问网络
# response = opener.open(url)
#
# print(response.read().decode('utf-8'))

# 方式二，获取网络数据
urllib.request.install_opener(opener=opener)

response = urllib.request.urlopen(url=url)

print(response.read().decode('utf-8'))