urllib 异常、cookie、handler及代理（四）

目录

一、urllib异常 

二、urllib cookie登录

三、urllib handler 处理器的基本使用

四、urllib 代理和代理池

参考

---

一、urllib异常 

URLError/HTTPError

简介：

1.HTTPError类是URLError类的子类

2.导入的包urllib.error.HTTPError  urllib.error.URLError

3.http错误：http错误是针对浏览器无法连接到服务器而增加出来的错误提示。引导并告诉浏览者该页是哪里出了问题。

4.通过urllib发送请求的时候，有可能会发送失败，这个时候如果想让你的代码更加健壮，可以通过try-except进行捕捉异常，异常有两类URLError和HTTPError

完整代码：

# 异常
# URLError/HTTPError

from urllib.error import URLError
from  urllib.error import HTTPError
import urllib.request

# 正确url
# url = 'https://blog.csdn.net/m0_45447650/article/details/1342414341'

# 地址错误
url = 'https://blog.csdn.net/m0_45447650/article/details/1342414341'
# 主机名错误
# url = 'https://blob.csdn.net/m0_45447650'
headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.76"
}
try:
    # 请求对象定制
    request = urllib.request.Request(url, headers = headers)
    # 获取网页源码
    response = urllib.request.urlopen(request)
    content = response.read().decode('utf-8')
    print(content)
except HTTPError:
    print('url地址写错了')
except URLError:
    print('url主机名错了')

二、urllib cookie登录

# 微博的cookie登录
# 应用场景： 数据采集时，绕开登录，进入到某个页面

完整代码：

# 微博的cookie登录
# 应用场景： 数据采集时，绕开登录，进入到某个页面

# 个人信息界面是utf-8，但还是报编码错误，因为并没有进入到个人信息页面，而是跳转到登录页面，登录页面不是utf-8，所以报错。
# 什么情况下访问不成功，请求头的信息不够才会访问不成功
# refere :防盗链，判断当前路径是不是由上一个路径进来的，一般情况下是做图片的防盗链
import urllib.request
url = 'https://weibo.com/你的微博主页'
headers = {
        "User-Agent": "主页的UA",
        'Cookie':'主页的CK',
        'Referer':'https://weibo.com/'
}
request = urllib.request.Request(url, headers = headers)
response = urllib.request.urlopen(request)
content = response.read().decode('utf-8')
with open ('weibo.html', 'w',encoding='utf-8') as file:
    file.write(content)

三、urllib handler 处理器的基本使用

 为什么要学handler？

urllib.request.urlopen(url)

       不能定制请求头

urllib.request.Request(url，header，data)

       可以定制请求头

handler

       定制更高级的请求头（随着业务逻辑的复杂，请求对象的定制已经满足不了我们的需求（动态cookie和代理不能使用请求对象的定制））

使用handler三步：

1.获取handler对象

2.获取opener对象

3.调用open方法

完整代码：

# 使用handler访问百度，获取网页源码

import urllib.request
url = 'http://www.baidu.com'
headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.76"
}

# 请求对象定制
request = urllib.request.Request(url, headers=headers)

# handler build_opener open
# 1.获取handler对象
handler = urllib.request.HTTPHandler()
# 2.获取opener对象
opener = urllib.request.build_opener(handler)
# 3.调用open方法
response = opener.open(request)

content = response.read().decode('utf-8')
print(content)

四、urllib 代理和代理池

 1.代理的常用功能?

（1）.突破自身IP访问限制，访问国外站点

（2）.访问一些单位或团体内部资源

扩展:某大学FTP(前提是该代理地址在该资源的允许访问范围之内)，使用教育网内地址段免费代理股务器，就可以用于对教育网开放的各类FTP下载上传，以及各类资料查询共亨等服务，

（3）.提高访问速度

扩展: 通常代理服务器都设置一个较大的硬盘缓冲区，当有外界的信息通过时，同时也将其保存到缓冲区中，当其他用户再访问相同的信息时， 则直接由缓冲区中取出信息，传给用户，以提高访问速度，

（4）.隐感真实IP

扩展:上网者也可以通过这种方法隐藏自己的IP，免受攻击

2.代码配置代理

创建Reuqest对象

创建ProxyHandler对象

用handler对象创建opener对象

使用opener.open函数发送请求

使用handler模拟客户端向服务器发送请求

# handler build_opener open
handler = urllib.request.ProxyHandler(proxies=proxies)
opener = urllib.request.build_opener(handler)
response = opener.open(request)

设置一个简单的代理池

# 代理池
proxies_pool= [
    # 'key':'主机'+'端口号'
    {'http':'61.216.185.88:60808'},
    {'http':'182.140.244.163:8118'}
]
import random
proxies = random.choice((proxies_pool))

完整代码

import urllib.request
url = 'https://www.baidu.com/s?wd=ip'
headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.76"
}

# 请求对象定制
request = urllib.request.Request(url, headers=headers)
# response = urllib.request.urlopen(request)

# 获取免费快代理 https://www.kuaidaili.com/free/
# 代理 ip 以字典的方式存在
proxies = {
    # 'key':'主机'+'端口号'
    'http':'61.216.185.88:60808'
}

"""
# 代理池
proxies_pool= [
    # 'key':'主机'+'端口号'
    {'http':'61.216.185.88:60808'},
    {'http':'182.140.244.163:8118'}
]
import random
proxies = random.choice((proxies_pool))
"""

# handler build_opener open
handler = urllib.request.ProxyHandler(proxies=proxies)
opener = urllib.request.build_opener(handler)
response = opener.open(request)

content = response.read().decode('utf-8')
print(content)
# with open ('weibo.html', 'w',encoding='utf-8') as file:
#     file.write(content)

参考

尚硅谷Python爬虫教程小白零基础速通（含python基础+爬虫案例）