【Python3爬虫(二)】【urlib.request模块】【付费代理+auth认证】

最新推荐文章于 2024-04-23 16:42:17 发布

LinGavinQ

最新推荐文章于 2024-04-23 16:42:17 发布

阅读量321

点赞数 1

分类专栏：爬虫文章标签： python

本文链接：https://blog.csdn.net/qq_42893334/article/details/107794443

版权

爬虫专栏收录该内容

7 篇文章 2 订阅

订阅专栏

上一篇：【Python3爬虫(一)】【urlib.request模块】【urlopen+get请求加参数+header请求头+User-Agent+IP代理】
++++++++++开始线++++++++++++++++++

一、付费代理

money_proxy_handler.py

import urllib.request


def money_proxy_use():
    # 第一种方式付费代理发送请求
    # 1.代理ip(username,pwd直接替换)
    # money_proxy ={"http":"username:pwd@192.168.12.11:8080"}
    # 2.代理的处理器
    # proxy_handler=urllib.request.ProxyHandler(money_proxy)
    # 3.通过处理器创建opener
    # opener = urllib.request.build_opener(proxy_handler)
    # 4.open发送请求
    # opener.open("http://www.baidu.com")

    # 第二种方式发送付费的ip地址(常用方式)
    use_name = "abcname"
    pwd = "123456"
    proxy_money = "123.158.63.130:8888"
    # 2.创建密码管理器,添加用户名和密码
    password_manager = urllib.request.HTTPPasswordMgrWithDefaultRealm()
    # uri是定位 uri>url
    # url是资源定位符
    password_manager.add_password(None, proxy_money, use_name, pwd)
    # 3.创建可以验证代理ip的处理器
    handle_auth_proxy = urllib.request.ProxyBasicAuthHandler(password_manager)
    # 4.根据处理器创建opener
    opener_auth = urllib.request.build_opener(handle_auth_proxy)
    # 5.发送请求
    response = opener_auth.open("http://www.baidu.com")
    print(response.read())


money_proxy_use()

二、auth认证

auth_use.py

import urllib.request


def auth_nei_wang():
    # 1.用户名密码
    user = "admin"
    pwd = "adimin123"
    nei_url = "http://192.168.179.66"

    # 2.创建密码管理器
    pwd_manager = urllib.request.HTTPPasswordMgrWithDefaultRealm()

    pwd_manager.add_password(None, nei_url, user, pwd)

    # 3.创建认证处理器
    auth_handler = urllib.request.HTTPBasicAuthHandler(pwd_manager)
    # 4.根据处理器创建opener
    opener = urllib.request.build_opener(auth_handler)
    # 5.发送请求
    response = opener.open(nei_url)
    print(response)


auth_nei_wang()

++++++++++结束线++++++++++++++++++

【Python3爬虫(三)】【urlib.request模块】【cookie+Request】