python爬虫（2） urllib库_.url (114 bytes)-CSDN博客

本文链接：https://blog.csdn.net/xman4code/article/details/80891413

urllib库是很常用的解析网络资源的库，python3之后就没有了urllib和urllib2的区分，urllib和urllib2合并后统称为urllib，其中包含urllib.request/urllib.erro/urllib.parse/urllib.robotparse

以下是两个版本的使用方法对比：

urllib/urllib2	urllib
urllib.urlencode	urllib.parse.urlencode
urllib.Request	urllib.request.Request
urllib.urlopen	urllib.request.urlopen

现用python3+pycharm 实现简单的网页爬取

import urllib.request
url = "http://www.baidu.com"
response = urllib.request.urlopen(url)
data = response.read()
data= response.decode('urf-8')
print(data)

输出结果：

<html>

    ******

</html>

从结果上看可以把网页内容抓取下来。
分步骤看一下类型：

>>> import urllib.request
>>> url = "http://www.baidu.com"
>>> response = urllib.request.urlopen(url)
>>> type(response)
<class 'http.client.HTTPResponse'>
>>> data = response.read()
>>> type(data)
<class 'bytes'>
>>> data = data.decode('utf-8')
>>> type(data)
<class 'str'>
>>>