Python-requests库的学习与使用举例_python中request库学习实例(2)

一、网安学习成长路线图

网安所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、网安视频合集

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

三、精品网安学习书籍

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、网络安全源码合集+工具包

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

五、网络安全面试题

最后就是大家最关心的网络安全面试题板块

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以点击这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

---

前言

前段时间写了个爬虫，抓取了b站视频的弹幕——张大仙弹幕统计，仙友们来看看有没有你的弹幕吧！，最近经常写网络编程的脚本，就想好好学一下requests库常用的部分内容。另外，中文版的翻译一言难尽，建议看英文版。

中文文档首页

在读本文前，你需要了解http及https协议，如果你还不了解，可以查看：网络-http协议学习笔记（消息结构、请求方法、状态码等）

安装

pip install requests

请求

GET请求

函数

get(url, params=None, **kwargs)

参数

url:请求的url

params:请求时的参数

代码

def Get():
    payload = {"lady": "killer", "key": "9"}
    headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko)\
    Chrome/52.0.2743.116 Safari/537.36'
    }
    req = requests.get(url=URL_GET, params=payload, headers=headers)
    print("url:", req.url)
    print("状态码:", req.status_code)
    print("cookies", req.cookies)
    print("text:", req.text)
    print("json:", req.json())
    req.close()

结果

url: http://httpbin.org/get?lady=killer&key=9
状态码: 200
cookies <RequestsCookieJar[]>
text: {
  “args”: {
    “key”: “9”,
    “lady”: “killer”
  },
  “headers”: {
    “Accept”: “*/*”,
    “Accept-Encoding”: “gzip, deflate”,
    “Host”: “httpbin.org”,
    “User-Agent”: “Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko)    Chrome/52.0.2743.116 Safari/537.36”,
    “X-Amzn-Trace-Id”: “Root=1-5f8450e4-30d63b07549e5df637b48d4d”
  },
  “origin”: “59.64.129.128”,
  “url”: “http://httpbin.org/get?lady=killer&key=9”
}

json: {‘args’: {‘key’: ‘9’, ‘lady’: ‘killer’}, ‘headers’: {‘Accept’: ‘*/*’, ‘Accept-Encoding’: ‘gzip, deflate’, ‘Host’: ‘httpbin.org’, ‘User-Agent’: ’
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko)    Chrome/52.0.2743.116 Safari/537.36’, ‘X-Amzn-Trace-Id’: ‘Roo
t=1-5f8450e4-30d63b07549e5df637b48d4d’}, ‘origin’: ‘59.64.129.128’, ‘url’: ‘http://httpbin.org/get?lady=killer&key=9’}

实际访问的url已经添加了参数，也就是说，你可以不使用params参数，而是直接在url上面添加。

状态码请查看上面的文章

text是请求的结果

json格式是比较常用的

浏览器访问

POST请求

函数

post(url, data=None, json=None, **kwargs)

url:请求的url

data:请求时的数据，字典、元组列表、字节或类似文件

json：json数据

代码

def Post():
    data = {'bupt': 'beijing university of posts and communication', 'age': '65'}
    req = requests.post(URL_POST, data=data)
    print("url:", req.url)
    print("状态码:", req.status_code)
    print("cookies", req.cookies)
    print("text:", req.text)
    print("json:", req.json())
    req.close()

结果

url: http://httpbin.org/post
状态码: 200
cookies <RequestsCookieJar[]>
text: {
  “args”: {},
  “data”: “”,
  “files”: {},
  “form”: {
    “age”: “65”,
    “bupt”: “beijing university of posts and communication”
  },
  “headers”: {
    “Accept”: “*/*”,
    “Accept-Encoding”: “gzip, deflate”,
    “Content-Length”: “57”,
    “Content-Type”: “application/x-www-form-urlencoded”,
    “Host”: “httpbin.org”,
    “User-Agent”: “python-requests/2.23.0”,
    “X-Amzn-Trace-Id”: “Root=1-5f845f63-5103e9761cd94b3b1c9905f3”
  },
  “json”: null,
  “origin”: “59.64.129.128”,
  “url”: “http://httpbin.org/post”
}

json: {‘args’: {}, ‘data’: ‘’, ‘files’: {}, ‘form’: {‘age’: ‘65’, ‘bupt’: ‘beijing university of posts and communication’}, ‘headers’: {‘Accept’: ‘*/*’, ‘Accept-Encodin
g’: ‘gzip, deflate’, ‘Content-Length’: ‘57’, ‘Content-Type’: ‘application/x-www-form-urlencoded’, ‘Host’: ‘httpbin.org’, ‘User-Agent’: ‘python-requests/2.23.0’, ‘X-Amzn
-Trace-Id’: ‘Root=1-5f845f63-5103e9761cd94b3b1c9905f3’}, ‘json’: None, ‘origin’: ‘59.64.129.128’, ‘url’: ‘http://httpbin.org/post’}

高级

有的时候我们往往需要登录才有权限发送请求，而账户信息一般会保存在Cookie中。

cookies设置

可以抓包获得cookie

也可以通过F12，在控制台输入document.cookie来获得。

浏览器查看

代码

def Get_with_cookie():
    headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko)\
    Chrome/52.0.2743.116 Safari/537.36'
    }
    cookies = {'BIDUPSID': 'BE00784DEDAD866ECD4C82326FD62EAB', ' PSTM': '1554688108', ' MCITY': '-%3A',
               ' ispeed_lsm': '0', ' BAIDUID': '1588105DA2B8508F2F85540F7FC96277:FG', ' H_PS_PSSID': '',
               ' BDRCVFR[NPt2Vg_wYt_]': 'mk3SLVN4HKm', ' delPer': '0', ' BD_CK_SAM': '1', ' PSINO': '2',
               ' BD_UPN': '13314752', ' sug': '3', ' sugstore': '0', ' ORIGIN': '0', ' bdime': '0',
               ' H_PS_645EC': '6c6bmTTznHXowtzIVMcI9ybyItnOQcEc5yoROOp7O7Q4a0FQWI7CHETQrdW05P4yg3zuSFV3',
               ' BA_HECTOR': '24a4800l810k25k1ur1fo8obe0j', ' BDORZ': 'FFFB88E999055A3F8A630C64834BD6D0'}
    req = requests.get(URL_COOKIE, headers=headers, cookies=cookies)
    print("url:", req.url)
    print("状态码:", req.status_code)
    print("cookies", req.cookies)
    with open('ask_baidu_requets.html', 'w',encoding='utf-8') as f:
        f.write(req.text)
    req.close()

控制台输出

url: https://www.baidu.com/s?tn=02003390_hao_pg&ie=utf-8&wd=requests
状态码: 200
cookies <RequestsCookieJar[<Cookie BAIDUID=1588105DA2B8508F2F85540F7FC96277:FG=1 for .baidu.com/>, <Cookie BDRCVFR[NPt2Vg_wYt_]=mk3SLVN4HKm for .baidu.com/>, <Cookie H_
PS_PSSID= for .baidu.com/>, <Cookie PSINO=2 for .baidu.com/>, <Cookie delPer=0 for .baidu.com/>,

给大家的福利

零基础入门

对于从来没有接触过网络安全的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。

同时每个成长路线对应的板块都有配套的视频提供：

因篇幅有限，仅展示部分资料

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以点击这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！