request

1、requests时候response类型的
2、response的属性:
response.text 获取网站的源码
response.encoding 访问或定制编码方式
response.url 获取请求的url
response.content 响应的字节类型
response.status.code 响应的状态码
response.headers 响应的头信息

3.urllib
（1）一个类型六个方法
（2）get/post请求
（3）ajax的get/post请求
（4）cookie登录
（5）代理

requests
（1）一个类型和六个属性
（2）get/post请求
（3）代理
（4）cookie验证码

4.get/post请求的区别：
kwargs字典
（1）post请求不需要编码，get请求需要编码
（2）post请求的参数是data，get请求的参数是params
（3）post请求不需要请求对象的定制，get请求需要请求对象的定制

5.有些网页中增加了反爬手段隐藏域 比如__VIEWSTATE

6.获取验证码图片（得到验证码图片路径，每次刷新图片都会变）
code=soup.select(‘#imgCode’)[0].attrs.get(‘src’)

7.每次请求验证码都会让他刷新一次，所以先下载图片再尝试登陆会导致响应两次，那么图片验证码就已经刷新了，尝试登录时用之前下载的验证码再去登陆就不对了，所以要用session
session=requests.session
response_code=session.get(code_url)
content_code=response_code.content(此时要用二进制数据，因为我们要是用的是图片的下载，wb的模式就是讲二进制数据写入文件）
with open（‘code。jpg’,‘wb’）as fp:
fp.write(content_code)

8.超级鹰网站可以下载识别图像验证码的脚本
9.scrapy是一个为了爬取网站数据，提供结构性数据而编写的应用框架