Requests库爬虫详解

关于requests:

官方的解释是：Requests 唯一的一个非转基因的 Python HTTP 库，人类可以安全享用。

作用：

Requests 完全满足今日 web 的需求。

• Keep-Alive & 连接池
• 国际化域名和 URL
• 带持久 Cookie 的会话
• 浏览器式的 SSL 认证
• 自动内容解码
• 基本/摘要式的身份认证
• 优雅的 key/value Cookie
• 自动解压
• Unicode 响应体
• HTTP(S) 代理支持
• 文件分块上传
• 流下载
• 连接超时
• 分块请求
• 支持 .netrc

安装：

pip instsall requests     #适用Python3

Requests的使用方法：

实例说明：

import requests

response=requests.get('https://www.baidu.com')
print(type(response))  
print(response.status_code)
print(type(response.text)) 
print(response.text)
print(response.cookies)

返回结果：

 

各种请求方式：

import requests

requests.post('http://httpbin.org/post')
requests.put('http://httpbin.org/put')
requests.delete('http://httpbin.org/delete')
requests.head('http://httpbin.org/get')
requests.options('http://httpbin.org/get')

基本的get请求：

import requests

response=requests.get('http://httpbin.org/get')#用get方式发送请求并获得响应
print(response.text)#用text查看响应内容

返回结果：

 

 

 

带参数的get请求：

import requests

data={
	'name':'zhuzhu',
	'age':23
}
response=requests.get('http://httpbin.org/get',params=data)
#用字典的形式传递给params参数，不需要自己写url编码
print(response.text)

返回结果：

 

 解析json:

import requests

response=requests.get("http://httpbin.org/get")
print(type(response.text))