python 爬取道客巴巴文档_爬虫系列——我们一起爬

今天我们的目标是要学会如何爬

今日目录一览

Python网络库 什么是requests模块 如何安装和使用requests模块 实战，学以致用，开始爬

Python网络库

在实际浏览网页的时候，我们一般是通过鼠标来点击网页，由浏览器帮助我们发起请求，那在Python 爬虫中是如何发起请求的呢？Python有强大的库来作为支撑，给大家介绍一下，这些库：     Python2: httplib、httplib2、urllib、urllib2、urllib3、requests     Python3: httplib2、urllib、urllib3、requestshttplib/2是Python内置的http库，是偏于底层的库；httplib2是基于httplib的第三方库，支持缓存、压缩等。这两个库一般都是用不到，除非你需要自己封装网络请求。urlliib是基于httplib的上层库，而urllib2和urllib3都是第三方库，urllib2相对于urllib增加一些高级功能，如：HTTP身份验证、Cookie等，在Python3中将urllib2合并到了urllib中。urllib3提供线程安全连接池和文件post等支持，与urllib及urllib2的关系不大。