2021-02-21

最新推荐文章于 2024-06-25 18:03:54 发布

数据小熊

最新推荐文章于 2024-06-25 18:03:54 发布

阅读量66

点赞数

分类专栏：笔记

本文链接：https://blog.csdn.net/m0_53644843/article/details/113921420

版权

笔记专栏收录该内容

23 篇文章 0 订阅

订阅专栏

本文介绍了Python的urllib模块，包括如何进行GET和POST请求，处理超时问题，以及设置用户代理。通过实例展示了如何获取网页源码、发送POST数据以及设置请求头，对于网络编程初学者非常有帮助。

摘要由CSDN通过智能技术生成

Python 的urllib模块模拟使用

import urllib
response  = urllib.request.urlopen("http://www.baidu.com")
print(response.read().decode("utf-8"))
  # 获取网页源码进行utf-8解析可以防止乱码




# 获取一个post请求
import urllib.parse,urllib.request# # data = bytes(urllib.parse.urlencode({"holle":"world"}),encoding="utf-8")



  # 转换成二进制
response = urllib.request.urlopen("http://httpbin.org/pos",data = data)
print(response.read().decode("utf-8"))





# 超时处理
try:
     response = urllib.request.urlopen("http://httpbin.org/get",timeout=1)
     print(response.read().decode("utf-8"))
      except urllib.error.URLError as e:
           print("time out")





# 伪装
import urllib.requesturl =
"http://.douban.com"
headers = {    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36 Edg/88.0.705.68"}
req = urllib.request.Request(url=url,headers=headers)
response = urllib.request.urlopen(req)print(response.read().decode("utf-8"))