使用requests的网络爬虫

1、使用前的准备工作
requests不是Python内置的模块，所以在使用之前要先下载

#下载requests模块
<1>
打开DOS文档，键入 pip install requests，显示下载成功即可
<2>
直接下载 anaconda(包含日常使用的模块的包) 并在编译环境中设置好解释器即可。

2、get请求

import requests

#定义请求头
header = {
	'User-Agent':''
}

#定义代理IP
proxy = {
	'http':'http://ip地址:端口号'
}

#向目标网站发送get请求
formation= requests.get(url, headers=header, proxies=proxy)

<扩充>#获取Cookie
cookiejar = data.cookies	#先获取cookiejar对象
cookie = request.utils.dict_from_cookiejar(cookiejar)	#获取对应cookie的字典形式

3、post请求

import requests

#定义请求头
header = {
	'User-Agent':''
}

#定义formdata
formdata = {
	// ......
}

formation = requests.post(url, data = data, headers=header)

4、使用session的登录

import requests

#定义登录信息
data = {
	'email':'','passward':''
	#第一个参数传入登录方式以及登录账号
	#第二个参数传入'passward':'登录密码'
}

#创建session对象
ses = requests.session()

#向目标发送请求,得到最新的cookie信息
ses.post(url1, data = data)	#url1为登录链接

#向目标发送请求，得到网页信息
data = ses.get(url2)	#url2为 要获取信息的网页链接
			#data为网页信息