python3 网络爬虫开发实战学习记录1

最新推荐文章于 2024-11-02 16:28:26 发布

亭午

最新推荐文章于 2024-11-02 16:28:26 发布

阅读量1k

点赞数

分类专栏： python 文章标签： python Powered by 金山文档

本文链接：https://blog.csdn.net/m0_59179752/article/details/129268106

版权

python 专栏收录该内容

12 篇文章 0 订阅

订阅专栏

这段代码演示了如何使用Python的urllib库创建一个代理处理器，通过指定的HTTP和HTTPS代理服务器访问百度网站。同时，它还设置了不验证SSL证书的上下文，并自定义了User-Agent以模拟浏览器行为。

摘要由CSDN通过智能技术生成

爬虫访问百度网站

from urllib.request import ProxyHandler, build_opener
from urllib.error import URLError
import ssl
ssl._create_default_https_context = ssl._create_unverified_context
proxy_handler = ProxyHandler({
    'http': 'http://101.200.235.69:8080',
    'https': 'https://101.200.235.69:8080'
})
headers = ("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0")
opener = build_opener(proxy_handler)
opener.addheaders = [headers]
try:
    response = opener.open('https://www.baidu.com')   # 用opener类中open方法打开链接
    print(response.read().decode('utf-8'))
except URLError as e:
    # 定义异常实例(except IOError as e)
    print(e.reason)

结果