python网络爬虫学习笔记1-requests模块

步骤

1. 指定url
2. 发起请求
3. 获取响应数据
4. 存储爬取到的数据

get（url，params，**kwargs）方法

requests最常用的方法。

最常用的一句代码：
response = requests.get(url)
构造一个向服务器reque请求数据资源的对象，然后返回一个包含服务器数据资源的response对象。

response对象：（r表示response）

params : url中的额外参数，字典或字节流格式，可选

**kwargs：共12个控制访问的参数

参数	作用
params	字典或字节序列，作为参数增加url中
data	字典、字节序列或文件对象，作为Request的内容
headers	字典，HTTP定制头。UA伪装
json	JSON格式的数据，作为Request的内容
files	字典类型，传输文件
timeout :	设定超时时间，秒为单位

此外还有cookies、auth、proxies、allow_redirects、stream、verify、cert。

post(url，data，json，**kwargs)方法

requests库的七个方法