python爬虫之request库

1、request 库 七个主要方法：

requests.request() 构造一个请求，支撑以下各个方法的基础方法
requests.get() 获取HTML网页的主要方法，对应HTTP的GET
requests.head() 获取HTML网页头信息的方法，对应HTTP的head
requests.post() 向HTML网页提交POST请求的方法，对应HTTP的POST
requests.put() 向HTML网页提交PUT请求的方法，对应HTTP的PUT
requests.patch() 向HTML网页提交局部修改请求，对应HTTP的PATCH
requests.delete() 向HTML网页提交删除请求，对应HTTP的DELETE

常用的方法是 request.get() 返回url链接响应的response对象
response对象中的
status_code属性 http请求的返回状态 200成功 404或者其他 出错或者异常
text属性 http响应内容的字符串形式
encoding属性 从http header中猜测的响应内容编码方式
apparent_encoding属性 从内容中分析出的响应内容编码方式（备选编码方式）
content属性 http响应内容的二进制形式

示例
“
r = requests.get(‘http://www.baidu.com’)
print(r.status_code)
print(r.text)
”
通用的爬虫框架为：
“
def getHTMLText(url):
try:
r=requests.get(url,timeout=30)
r.raise_for_status()#如果状态不是200,引发HTTPError异常
r.encoding=r.apparent_encoding
return r.text
except:
return “产生异常”
”