python3.6之urllib模块代理实现

最新推荐文章于 2024-06-24 23:18:03 发布

qq513283439

最新推荐文章于 2024-06-24 23:18:03 发布

阅读量2.5k

点赞数 1

分类专栏： Python

本文链接：https://blog.csdn.net/qq5132834/article/details/78947779

版权

Python 专栏收录该内容

9 篇文章

订阅专栏

本文介绍了一种利用Python和代理服务器抓取网页内容的方法。通过设置代理服务器，可以实现匿名浏览并获取目标网站的数据。示例代码展示了如何配置代理并使用urllib库读取百度首页的内容。

摘要由CSDN通过智能技术生成

1.代理服务器地址选择网址：http://www.xicidaili.com

import urllib.request

#代理服务器网址 "http://www.xicidaili.com"


proxy_handler = urllib.request.ProxyHandler({'http': '120.32.208.16:8118'})
opener = urllib.request.build_opener(proxy_handler)
r = opener.open('http://www.baidu.com')
print(r.read().decode('utf-8','ignore'))