Python——requests模块

requests模块是python的一个第三方模块，它是基于python自带的urllib模块封装的，用来发送http请求和获取返回的结果，操作很简单。

requests模块是第三方模块，不是python自带的，需要安装才可以使用。

pip requests install

发送get请求
1、不带参数、 返回结果为字符串类型：可以使用res.json() 来转成字典

import requests

url = ''www.baidu.com'
res = requests.get(url)
print(res.json())

 

2、 带参数的get请求

url3 = 'http://118.24.3.40/api/user/stu_info'
param= {'stu_name':'小黑'}
res = requests.get(url3,params=param)
print(res.json())

3、入参需要传入header

url6 = 'http://118.24.3.40/api/user/all_stu'
header = {'Referer':'http://api.nnzhp.cn/'}
res =requests.get(url6,headers=header)
print(res.json())

post请求
1、入参是字典类型的
url2 = 'http://118.24.3.40/api/user/login'
data = {'username':'niuhanyang','passwd':'aA123456'}
res = requests.post(url2,data=data)
print(res.json())

2、入参是json类型的 注意：使用requests的post方式时候，要传递json的值

url4 = 'http://118.24.3.40/api/user/add_stu'
data = {"name":"maomaochongzi",
"grade":"1年级",
"phone":"15801427140",
"sex":"男",
"age":"18",
"addr":"beijing"
}
res = requests.post(url4,json=data)
print(res.json())

3、入参需传递cookie
url5 = 'http://118.24.3.40/api/user/gold_add'
data = {'stu_id':15,'gold':200}
cookie = {'niuhanyang':'35b103503b9f428f1e8a2e258cb2a172'}
res = requests.post(url5,data=data,cookies = cookie)
print(res.json())

4、上传文件，入参为文件类型

url9 = 'http://118.24.3.40/api/file/file_upload'
data = {'file':open('魔鬼天使.mp3','rb')}
res = requests.post(url9,files = data)
print(res.json())

 

5、下载文件  二进制类型

url9 = 'http://qiniuuwmp3.changba.com/1084511584.mp3'
res = requests.post(url9)

with open('天数恶魔.p3',wb) as frw

　　fw.write(res.content)

6、如果url是https开头的 ，需要加verify = False

url8='https://aliimg.changba.com/cache/photo/855e5493-f018-44db-8892-c8660649327b_640_640.jpg'
res = requests.get(url8,verify = False)
with open('a.jpg','wb') as fw:
fw.write(res.content)

res.json() 必须返回的是json才可以用 返回的是字典
res.text 下载文件的话text就不行了 返回的是字符串
res.content 用来下载文件用的 返回的是二进制的
res.cookies 获取到返回的所有cookie
res.headers 获取到返回的所有herder

 

http权限认证

有一些网站，比如说下载东西的时候有http的权限验证，没有验证话就返回401 请求未经授权这种错误的。一般都是需要http权限验证，下面是怎么添加http权限验证。

当然这个http权限认证是http本身的，和你那些登陆请求那些不一样，比如说你要调一个登陆接口，传入的账号密码，和那个不是一回事，要区别开。

举个例子呢就是商场的大门上的锁就是这个http权限验证，这个锁是人家商场的，而你的店铺的锁才是你登陆接口，你输入的账号密码。一般你一打开一个网站直接弹出来一个窗口让你输入账号密码，你都看不到页面，这种就是http权限验证。而那种你打开网站之后，直接就能看到页面，你要登录的时候，输入账号密码然后点登录的，这种的就是正常的登陆请求。这种http权限验证的比较少见。

import requests

from requests.auth import HTTPBasicAuth

#导入HTTPBasicAuth

 

req = requests.post('http://www.nnzhp.cn',data={'username':'xxx'},auth=HTTPBasicAuth('username','password'))

#使用的时候加上auth参数，然后使用HTTPBasicAuth，传入账号和密码即可。其他的都是和以前一样用

print(req.status_code)

http会话保持

什么是会话保持，就是有一些操作需要登录之后才操作的，你得先登录，然后才能做其他的操作。那咱们做的时候怎么做，先发送登陆的请求，获取到登录的cookie信息，（因为登录之后它的身份验证信息都是放在cookie里面的），然后把cookie传给下一个你要请求的url，这样就ok了，看下面代码。

 import requests

r1=requests.post('http://www.nnzhp.cn/login',data={'username':'besttest','password':'123456'})#登陆请求

login_cookies = r1.cookies #获取到登陆请请求返回的cookie，把登陆获取到的cookie，传给发表文章的这个请求，就ok了

r2 = requests.post('http://www.nnzhp.cn/create_user',data={'title':'测试测试','content':'发送文章测试'},cookies=login_cookies)

print(r2.text)


requests模块给咱们提供了更简单的方式，就是使用requests.session这个方法，它会自动帮咱们管理cookie，不需要咱们自己再获取到登陆的cookie，传给创建文件的请求，代码如下：

import requests
r=requests.session()
login_req = r.post('http://www.nnzhp.cn/login',data={'username':'besttest','password':'123456'}) #发送登陆的请求

r1 = r.post('http://www.nnzhp.cn/create_user',
data={'title':'测试测试','content':'发送文章测试'}) #发送创建文件的请求

print(r1.text)#获取返回的结果

 

http代理设置

我们在写爬虫的时候，如果都用同一个ip访问多次访问某个网站，经常ip会被封，这样我们就访问不了了，那怎么解决呢，就得用ip代理了，代理的意思就是咱们把请求先发到代理上，然后再由代理帮咱们把请求发送出去，这样最终访问网站的ip就不是咱们自己的ip了。网上代理有很多，大多数收费的代理网站上每天都会有几个免费的代理，我先从https://www.kuaidaili.com/free/inha/ 这个里面找了几个免费的代理，设置代理的代码如下

 

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

import requests #不带账号密码的代理 posix = { 'http' : 'http://119.187.75.46:9000' , #http 'https' : 'http://112.95.18.133:9000' , #https } res = requests . get ( 'http://www.nnzhp.cn' , proxies = posix ) . text print ( res )     #带账号密码的代理 posix = { 'http' : 'http://user:password@127.0.0.1:9000' , #http 'https' : 'http://user:password@127.0.0.1:9000' , #https } res = requests . get ( 'http://www.nnzhp.cn' , proxies = posix ) . text print ( res )

转载于:https://www.cnblogs.com/caopeiyang/p/9371109.html