python爬虫urllib库学习（源码）

最新推荐文章于 2024-06-22 11:14:17 发布

wayneQT

最新推荐文章于 2024-06-22 11:14:17 发布

阅读量1.2k

点赞数

分类专栏： python 文章标签： py

本文链接：https://blog.csdn.net/wayneQT/article/details/78584993

版权

本文介绍了Python的urllib库在爬虫中的应用，包括如何构造复杂请求、使用cookie以及解析URL。示例代码展示了如何创建request对象、处理HTTPCookie及使用urlparse进行URL解析。

摘要由CSDN通过智能技术生成

####urllib库的使用
import urllib.request
import http.cookiejar
from urllib.parse import urlparse

# 复杂请求构造request对象；
# respons = urllib.request.Request("https://www.python.org")
# response=urllib.request.urlopen(respons)
# print(response.read().decode("utf-8"))

###cookie的使用
# url="http://www.baidu.com"
# cookie=http.cookiejar.CookieJ