python爬虫必须模块：requests

什么是requests模块

requests模块是python中原生的基于网络请求的模块，其主要作用是用来模拟浏览器发起请求。功能强大，用法简洁高效。在爬虫领域中占据着半壁江山的地位。

为什么要使用requests模块

因为在使用urllib模块的时候，会有诸多不便之处，总结如下：

手动处理url编码

手动处理post请求参数

处理cookie和代理操作繁琐

......

使用requests模块：

自动处理url编码

自动处理post请求参数

简化cookie和代理操作

如何使用requests模块

安装：

pip install requests

作用特点

作用：就是用来模拟浏览器上网的。

特点：简单，高效

使用流程

指定url

基于requests模块发起请求

获取响应对象中的数据值

持久化存储

无参数：

爬取搜狗首页的页面数据

带参数

百度翻译

 

 动态加载的数据

爬取任意城市对应的肯德基餐厅的位置信息