第三章 3.1 Urlib库

第三章 学习目标

3.1.1urllib库的概念

urllib库是Python编写爬虫程序操作URL的常用内置库。在不同的Python解释器版本下，使用方法也稍有不同，本书采用Python3.x来讲解urllib库，具体版本是Python 3.6.1。 需要说明的是，在Python 2.x中urllib库包含urllib2和urllib两个版本，而在Python 3.x中urllib2合并到了urllib中。在此总结了一些urllib模块在Python2.x和Python3.x中使用的变动，方便大家快速掌握该库的用法，具体如下所示：

3.1.2 urllib库的使用

3.1.1节对urllib库作了简单的介绍，接下来讲解如何使用urllib库快速爬取一个网页。具体步骤如下：
导入urllib.reques模块。
使用urllib.request.urlopen()方法打开并爬取一个网页。
使用response.read()方法读取网页内容，并以utf-8格式进行解码。
具体示例代码如下：