urllib在python2和3之间的改写

最新推荐文章于 2020-11-06 23:33:29 发布

Xxxr_2357

最新推荐文章于 2020-11-06 23:33:29 发布

阅读量253

点赞数

分类专栏：学习笔记

本文链接：https://blog.csdn.net/weixin_39793633/article/details/83317503

版权

学习笔记专栏收录该内容

1 篇文章 0 订阅

订阅专栏

要想改代码，心理上要能啃硬骨头。弄清楚源代码的原理，新旧版本变化的点，会提出问题百度，最后要会看error

第5章里基于python2的urllib2模块，下载网页的三种办法，我用的是PY3，urllib变了，查了下Python3中urllib使用介绍，终结的很全面。
改了下

import urllib.request
import http.cookiejar

url="https://www.baidu.com"

print("第一种方法：")
response1 = urllib.request.urlopen(url)
print(response1.getcode())
print(len(response1.read()))

#添加data，http_header+url三者组成request
print("第二种方法")
request = urllib.request.Request(url)
request.add_header("user-agent","Mozilla/5.0")
response2 = urllib.request.urlopen(url)
print(response2.getcode())
print(len(response2.read()))

#添加特殊情景的处理器
print("第三种方法")
cj = http.cookiejar.CookieJar()
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
urllib.request.install_opener(opener)
response3 = urllib.request.urlopen(url)
print(response3.getcode())
print(cj)
print(response3.read())

运行结果如下：

第一种方法：
200
227
第二种方法
200
227
第三种方法
200
<CookieJar[<Cookie BIDUPSID=A6465C9438A1D1A0C40E88CC17839B39 for .baidu.com/>, <Cookie PSTM=1540306742 for .baidu.com/>, <Cookie BD_NOT_HTTPS=1 for www.baidu.com/>]>
b'<html>\r\n<head>\r\n\t<script>\r\n\t\tlocation.replace(location.href.replace("https://","http://"));\r\n\t</script>\r\n</head>\r\n<body>\r\n\t<noscript><meta http-equiv="refresh" content="0;url=http://www.baidu.com/"></noscript>\r\n</body>\r\n</html>'
[Finished in 2.6s]

Xxxr_2357

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
urllib在python2和3之间的改写

要想改代码，心理上要能啃硬骨头。弄清楚源代码的原理，新旧版本变化的点，会提出问题百度，最后要会看error第5章里基于python2的urllib2模块，下载网页的三种办法，我用的是PY3，urllib变了，查了下Python3中urllib使用介绍，终结的很全面。改了下import urllib.requestimport http.cookiejarurl="https://w...
复制链接

扫一扫