Python网络爬虫与信息提取 网络爬虫之规则

一、Requests库入门

1.1 Requests库的安装

1、Requests库是Python的第三方库，它也是公认最好爬取网页的库。它的特点是：简单，简洁。Request库更多信息查询网站：Requests库。

2、Requests安装
在命令行中输入下列代码

pip install requests

它会帮我们自动下载并安装requests库，版本为（2.13.0），要使用最新的pip，如果不是最新的使用

python -m pip install --upgrade pip

更新pip。

3、Requests测试
打开Python IDLE，按下图进行测试，如果没有任何报错，说明requests库安装成功。

4、Requests库的7个主要方法
（1）requests.request()：构造一个请求，支撑以下各种方法的基础方法
（2）requests.get()：获取HTML网页的主要方法，对应于HTTP的GET
（3）requests.head()：获取HTML网页头信息的方法，对应于HTTP的HEAD
（4）requests.post()：向HTML网页提交POST请求的方法，对应于HTTP的POST
（5）requests.put()：向HTML网页提交PUT请求的方法，对应于HTTP的PUT
（6）requests.patch()：像HTTP网页提交局部修改请求，对应于HTTP的PATCH
（7）requests.delete()：向HTML页面提交删除请求，对应于HTTP的DELETE

1.2 Requests库的get()方法

1、获取一个网页最简单的一个代码就是

r = requests.get(url)

这里我们构造一个向服务器请求资源的Request对象，返回一个包含服务器资源的Response对象（Python区分大小写）

2、Requests库的get()方法的完整使用是

requests.get(url,params=None,**kwargs)

url：拟获取网页的url链接
params：url中的额外参数，字典或字节流格