python第三方库-requests的使用

ohbaby别叫我程序猿

已于 2023-03-24 22:15:19 修改

阅读量534

点赞数

分类专栏： # Python基础文章标签： python 开发语言爬虫

于 2022-08-08 14:49:24 首次发布

本文链接：https://blog.csdn.net/pythonuser1/article/details/126227337

版权

Python基础专栏收录该内容

27 篇文章 0 订阅

订阅专栏

request

Requests 是使用 Apache2 Licensed 许可证的基于Python开发的HTTP 库，其在Python内置模块的基础上进行了高度的封装，从而使得Pythoner进行网络请求时，变得美好了许多，使用Requests可以轻而易举的完成浏览器可有的任何操作

Get请求

# 1、无参数实例

import requests
ret = requests.get('https://github.com/timeline.json')
    
print(ret.url)
print(ret.text)
    
    
    
# 2、有参数实例
import requests
    
payload = {'key1': 'value1', 'key2': 'value2'}
ret = requests.get("http://httpbin.org/get", params=payload)
print(ret.url)
print(ret.text)

POST请求

# 1、基本POST实例
    
import requests
    
payload = {'key1': 'value1', 'key2': 'value2'}
ret = requests.post("http://httpbin.org/post", data=payload)
    
print(ret.text)
    
    
# 2、发送请求头和数据实例
    
import requests
import json
    
url = 'https://api.github.com/some/endpoint'
payload = {'some': 'data'}
headers = {'content-type': 'application/json'}
    
ret = requests.post(url, data=json.dumps(payload), headers=headers)
print(ret.text)
print(ret.cookies)

其他请求

requests.get(url, params=None, **kwargs)
requests.post(url, data=None, json=None, **kwargs)
requests.put(url, data=None, **kwargs)
requests.head(url, **kwargs)
requests.delete(url, **kwargs)
requests.patch(url, data=None, **kwargs)
requests.options(url, **kwargs)
    
# 以上方法均是在此方法的基础上构建
requests.request(method, url, **kwargs)

requests.request() 参数

method: 提交方式 get/post
url：提交地址。
params：在URL上传递的参数，GET形式传递到后台，例如向http://www.oldboyyede.com上传数据。

requests.request(
  
　  method = 'GET',
  
　　url = 'http://www.oldboyyede.com',
  
　　params = { 'k1' : 'v1' , 'k2' : 'v2' }
  
)
  
#   http://www.oldboyyede.com?k1=v1&k2=v2

data：在请求体里面传递的数据，后面可以是字典，字节等数据类型

requests.request(
  
　　method = 'POST',
  
　　url = 'http://www.oldboyyede.com',
  
　　# data= { 'k1' : 'v1' , 'k2' : 'v2' , 'x':[1,2,3]}
  
　　data=" user=wjw&pwd=123123 "
  
)

json：在请求体里面传递数据，把整体序列化成一个大字符串,字典中嵌套字典的话用JSON

requests.request(
  
　　method = 'POST',
  
　　url = 'http://www.oldboyyede.com',
  
　　json= { 'k1' : 'v1' , 'k2' : 'v2' }
  
)
  
# "{ 'k1' : 'v1' , 'k2' : 'v2' }"

headers：请求头。
一定要添加浏览器，不然可能会遇到网络防火墙

# 一定要添加浏览器，不然可能会遇到网络防火墙拦截你的请求
headers = {'User-Agent': ''}
  
r1 = requests.get(
    url='http://dig.chouti.com/',
    headers=headers
)

files：上传文件对象。

# 模块的详细使用
import requests
  
requests.post(
    url='xxxxxx',
    files={
        # 'f1':open('s1.py','rb')
        # 可以上传元祖的形式上传，sssss1.py为后台获取的名称
        'f1': open('sssss1.py',('s1.py', 'rb'))
    }
)

参数实例

def param_method_url():
    # requests.request(method='get', url='http://127.0.0.1:8000/test/')
    # requests.request(method='post', url='http://127.0.0.1:8000/test/')
    pass
  
  
def param_param():
    # - 可以是字典
    # - 可以是字符串
    # - 可以是字节（ascii编码以内）
  
    # requests.request(method='get',
    # url='http://127.0.0.1:8000/test/',
    # params={'k1': 'v1', 'k2': '水电费'})
  
    # requests.request(method='get',
    # url='http://127.0.0.1:8000/test/',
    # params="k1=v1&k2=水电费&k3=v3&k3=vv3")
  
    # requests.request(method='get',
    # url='http://127.0.0.1:8000/test/',
    # params=bytes("k1=v1&k2=k2&k3=v3&k3=vv3", encoding='utf8'))
  
    # 错误
    # requests.request(method='get',
    # url='http://127.0.0.1:8000/test/',
    # params=bytes("k1=v1&k2=水电费&k3=v3&k3=vv3", encoding='utf8'))
    pass
  
  
def param_data():
    # 可以是字典
    # 可以是字符串
    # 可以是字节
    # 可以是文件对象
  
    # requests.request(method='POST',
    # url='http://127.0.0.1:8000/test/',
    # data={'k1': 'v1', 'k2': '水电费'})
  
    # requests.request(method='POST',
    # url='http://127.0.0.1:8000/test/',
    # data="k1=v1; k2=v2; k3=v3; k3=v4"
    # )
  
    # requests.request(method='POST',
    # url='http://127.0.0.1:8000/test/',
    # data="k1=v1;k2=v2;k3=v3;k3=v4",
    # headers={'Content-Type': 'application/x-www-form-urlencoded'}
    # )
  
    # requests.request(method='POST',
    # url='http://127.0.0.1:8000/test/',
    # data=open('data_file.py', mode='r', encoding='utf-8'), # 文件内容是：k1=v1;k2=v2;k3=v3;k3=v4
    # headers={'Content-Type': 'application/x-www-form-urlencoded'}
    # )
    pass
  
  
def param_json():
    # 将json中对应的数据进行序列化成一个字符串，json.dumps(...)
    # 然后发送到服务器端的body中，并且Content-Type是 {'Content-Type': 'application/json'}
    requests.request(method='POST',
                     url='http://127.0.0.1:8000/test/',
                     json={'k1': 'v1', 'k2': '水电费'})
  
  
def param_headers():
    # 发送请求头到服务器端
    requests.request(method='POST',
                     url='http://127.0.0.1:8000/test/',
                     json={'k1': 'v1', 'k2': '水电费'},
                     headers={'Content-Type': 'application/x-www-form-urlencoded'}
                     )
  
  
def param_cookies():
    # 发送Cookie到服务器端
    requests.request(method='POST',
                     url='http://127.0.0.1:8000/test/',
                     data={'k1': 'v1', 'k2': 'v2'},
                     cookies={'cook1': 'value1'},
                     )
    # 也可以使用CookieJar（字典形式就是在此基础上封装）
    from http.cookiejar import CookieJar
    from http.cookiejar import Cookie
  
    obj = CookieJar()
    obj.set_cookie(Cookie(version=0, name='c1', value='v1', port=None, domain='', path='/', secure=False, expires=None,
                          discard=True, comment=None, comment_url=None, rest={'HttpOnly': None}, rfc2109=False,
                          port_specified=False, domain_specified=False, domain_initial_dot=False, path_specified=False)
                   )
    requests.request(method='POST',
                     url='http://127.0.0.1:8000/test/',
                     data={'k1': 'v1', 'k2': 'v2'},
                     cookies=obj)
  
  
def param_files():
    # 发送文件
    # file_dict = {
    # 'f1': open('readme', 'rb')
    # }
    # requests.request(method='POST',
    # url='http://127.0.0.1:8000/test/',
    # files=file_dict)
  
    # 发送文件，定制文件名
    # file_dict = {
    # 'f1': ('test.txt', open('readme', 'rb'))
    # }
    # requests.request(method='POST',
    # url='http://127.0.0.1:8000/test/',
    # files=file_dict)
  
    # 发送文件，定制文件名
    # file_dict = {
    # 'f1': ('test.txt', "hahsfaksfa9kasdjflaksdjf")
    # }
    # requests.request(method='POST',
    # url='http://127.0.0.1:8000/test/',
    # files=file_dict)
  
    # 发送文件，定制文件名
    # file_dict = {
    #     'f1': ('test.txt', "hahsfaksfa9kasdjflaksdjf", 'application/text', {'k1': '0'})
    # }
    # requests.request(method='POST',
    #                  url='http://127.0.0.1:8000/test/',
    #                  files=file_dict)
  
    pass
<br>
# 做基本认证 header中加密的用户名和密码
def param_auth():
    from requests.auth import HTTPBasicAuth, HTTPDigestAuth
  
    ret = requests.get('https://api.github.com/user', auth=HTTPBasicAuth('wangjiawei', 'sdfasdfasdf'))
    print(ret.text)
  
    # ret = requests.get('http://192.168.1.1',
    # auth=HTTPBasicAuth('admin', 'admin'))
    # ret.encoding = 'gbk'
    # print(ret.text)
  
    # ret = requests.get('http://httpbin.org/digest-auth/auth/user/pass', auth=HTTPDigestAuth('user', 'pass'))
    # print(ret)
    #
  
# 请求和响应的超时时间
def param_timeout():
    # ret = requests.get('http://google.com/', timeout=1)
    # print(ret)
  
    # ret = requests.get('http://google.com/', timeout=(5, 1))
    # print(ret)
    pass
<br>
# 是允许否重定向
def param_allow_redirects():
    ret = requests.get('http://127.0.0.1:8000/test/', allow_redirects=False)
    print(ret.text)
<br>
# 代理 出口IP  不是本机IP。 流程是：先给代理发，代理帮助我们向目的地址发。
def param_proxies():
    # proxies = {
    # "http": "61.172.249.96:80",
    # "https": "http://61.185.219.126:3128",
    # }
  
    # proxies = {'http://10.20.1.128': 'http://10.10.1.10:5323'}
  
    # ret = requests.get("http://www.proxy360.cn/123456", proxies=proxies)
    # print(ret.headers)
  
  
    # from requests.auth import HTTPProxyAuth
    #
    # proxyDict = {
    # 'http': '77.75.105.165',
    # 'https': '77.75.105.165'
    # }
    # auth = HTTPProxyAuth('username', 'mypassword')
    #
    # r = requests.get("http://www.google.com", proxies=proxyDict, auth=auth)
    # print(r.text)
  
    pass
<br>
# 流形式 比如下片
def param_stream():
    ret = requests.get('http://127.0.0.1:8000/test/', stream=True)
    print(ret.content)
    ret.close()
  
    # from contextlib import closing
    # with closing(requests.get('http://httpbin.org/get', stream=True)) as r:
    # # 在此处理响应。迭代处理
    # for i in r.iter_content():
    # print(i)
  
  
def requests_session():
    import requests
  
    session = requests.Session()
  
    ### 1、首先登陆任何页面，获取cookie
  
    i1 = session.get(url="http://dig.chouti.com/help/service")
  
    ### 2、用户登陆，携带上一次的cookie，后台对cookie中的 gpsd 进行授权
    i2 = session.post(
        url="http://dig.chouti.com/login",
        data={
            'phone': "8612345678977",
            'password': "xxxxxx",
            'oneMonth': ""
        }
    )
  
    i3 = session.post(
        url="http://dig.chouti.com/link/vote?linksId=8589623",
    )
    print(i3.text)