文章目录
1. urllib.request模块
1.1 版本
- python2 :urllib2、urllib
- python3 :把urllib和urllib2合并,urllib.request
1.2 常用的方法
- urllib.request.urlopen(“⽹址”) 作⽤ :向⽹站发起⼀个请求并获取响应
- 字节流 = response.read()
- 字符串 = response.read().decode(“utf-8”)
- urllib.request.Request"⽹址",headers=“字典”) urlopen()不⽀持重构User-Agent
1.3 响应对象
- read() 读取服务器响应的内容
- getcode() 返回HTTP的响应码
- geturl() 返回实际数据的URL(防⽌重定向问题)
2. urllib.parse模块
2.1 常用方法
- urlencode(字典)
- quote(字符串) (这个⾥⾯的参数是个字符串)
3. 请求方式
- GET特点:查询参数在URL地址中显示
- POST
①在Request⽅法中添加data参数
urllib.request.Request(url,data=data,headers=headers)
②data :表单数据以bytes类型提交,不能是str
4. requests模块
4.1 安装
- pip install requests
- 在开发⼯具中安装
4.2 request常用方法
- requests.get(⽹址)
4.3 响应对象response的⽅法
- response.text 返回unicode格式的数据(str)
- response.content 返回字节流数据(⼆进制)
- response.content.decode(‘utf-8’) ⼿动进⾏解码
- response.url 返回url
- response.encode() = ‘编码’
4.4 requests模块发送 POST请求
4.5 requests设置代理
- 使⽤requests添加代理只需要在请求⽅法中(get/post)传递proxies参数就可以了
- 代理⽹站
① ⻄刺免费代理IP:http://www.xicidaili.com/
② 快代理:http://www.kuaidaili.com/
③ 代理云:http://www.dailiyun.com/
4.6 cookie
cookie :通过在客户端记录的信息确定⽤户身份
HTTP是⼀种⽆连接协议,客户端和服务器交互仅仅限于请求/响应过程,结束后断开,下⼀次请求时,服务器会认为是⼀个新的客户端,为了维护他们之间的连接,让服务器知道这是前⼀个⽤户发起的请求,必须在⼀个地⽅保存客户端信息。
4.7 session
session :通过在服务端记录的信息确定⽤户身份 这⾥这个session就是⼀个指的是会话
4.8 处理不信任的SSL证书
什么是SSL证书?
- SSL证书是数字证书的⼀种,类似于驾驶证、护照和营业执照的电⼦副本。因为配置在服务器上,也称为SSL服务器证书。SSL 证书就是遵守 SSL协议,由受信任的数字证书颁发机构CA,在验证服务器身份后颁发,具有服务器身份验证和数据传输加密功能。