Python爬虫会用到的相关方法和参数

Python爬虫

使用requests仓库

在 request类库运行时，客户端给服务器发送一个请求Request对象
服务器回复了一个 Response对象

客户端 给服务器发送 Requests对象

服务器 给客户端反馈 Response对象

Request类库的主要方法

• request.get() //获取HTML网页的方法

• requests.head() // 获取网页头信息的方法

• requests.post() // 向HTML网页提交POST头方法

• reqyests.put() // 向 HTML网页提交PUT请求方法

• requests.patch() //向网页提交局部修改请求

• requests.delete() // 向网页提交删除请求

• requests.request //构造一个请求，支撑上述个方法的基础方法

import requests

ret= requests.get('http://www.cqepc.cn')
print('HTTP状态码：',ret.status_code)
print('主页内容：，ret.text)

ret变量得到返回一个包含服务器资源的Request对象。

params: url中的额外参数，自带你或字节流格式可选

**kwargs: 12个控制访问的参数

常见访问属性

status _code
200 表示成功
400 表示失败

text http响应内容的字符串形式，url对应的页面内容

encoding 从HTTP header 中猜测的响应内容编码形式

apparent_encoding 从内容分析出的响应内容的编码方式

content http相应内容的二进制形式

headers 响应的头部

常见异常

   Requests.ConnectionError 遇到网络问题（DNS查询失败，拒绝链接） 
Requests.HTTPError  HTTP错误 
Requests.URLRequired  URL异常
Requests.timeout   请求超时
Requests TooManyRedurects  超过最大重定向次数，产生重定向异常
Requests.ConnectTimeout 链接服务器异常

http相关方法

 get 请求指定的页面信息，并返回实体
 head 类似get请求，只不过返回的响应中没有具体的内容，用于获取报文
 Post 向指定资源提交数据 ，进行处理  数据被包含在请求体中
 POst请求可能会导致新的资源新的建立
 options 允许客户端查看服务器的性能
 Trace  回显服务器收到的请求，主要用于测试和诊断

**kwargs

params 字典或字节序列，组为参数增加到url中
 
data    url的内容

JSON 格式的数据 作为Request的 内容

headers  字典 HTTP定制头

cookies  字典 Cookiejar,Request中cookie

auth   元组 支持http认证功能

 files   字典类型  传输文件

timeout  设置超出时间  单位秒

控制访问参数

proxies   字典类型 设定访问代理服务器 可以增加堵路认证

allow_redirects  True/False 默认为True,重定向功能

Stream    True / False 默认为True，获取内容立即下载开关

verify    True False  默认为True，认证ssl证书开关

cert     本地SSl证书路径