2024年最全【Python爬虫】爬虫利器 requests 库小结(1)，Python面试题及解析

文末有福利领取哦~

👉一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

👉二、Python必备开发工具

👉三、Python视频合集

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉 四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（文末领读者福利）

👉五、Python练习题

检查学习结果。

👉六、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

👉因篇幅有限，仅展示部分资料，这份完整版的Python全套学习资料已经上传

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

url = ‘https://fanyi.so.com/index/search’ # 360翻译

headers = {

‘pro’: ‘fanyi’

}

data = {

‘eng’: 0, # 是否从英文转中文

‘query’: ‘你好’ # 翻译的单词

}

response = requests.post(url, headers=headers, data=data) # 发送请求

3.4 requests.Session

Session 方法可以实现回话，持续性地发送requests请求，能够跨请求保持cookie。

经实例化后，可用 get、post 等方法发送请求，用法不变。

示例：

response = requests.Session()

response.post(‘https://fanyi.so.com/index/search’)

response.get(‘https://blog.csdn.net/weixin_52132159’)

3.4 其他

• requests.put(url, data=None, **kwargs)

• requests.head(url, **kwargs)

• requests.patch(url, data=None, **kwargs)

• requests.delete(url, **kwargs)

其他的方法使用过程与 get 与 post 类似，都有着kwargs参数表 中的参数，依实际情况选择使用。

4. kwargs 参数表

---

| 参数 | 说明 |

| — | — |

| params | 送请求时所带的参数，字典或字节流格式，作为额外参数连接到url中 |

| data | 字典、字节序列或文件对象，作为requests的内容，向服务器提交资源时使用 |

| json | JSON格式的数据，作为内容向服务器提交 |

| headers | 字典类型，请求头 |

| cookies | 字典或 CookieJar 对象，从HTTP协议中解析 cookie。字典形式的 cookie 也可放入 headers中 |

| auth | 元组类型，支持HTTP认证功能 |

| files | 字典类型，向服务器传输文件时使用 |

| timeout | 设定等待响应的时间，单位为秒 |

| proxies | 字典类型，设定访问代理服务器 |

| allow_redirects | 布尔类型，默认为True，重定向开关 |

| stream | 布尔类型，默认为True，判断是否对获取内容立即下载 |

| verify | 布尔类型，默认为True，认证SSL证书的开关 |

| cert | 保存本地SSL证书路径的字段 |

参考文章：https://blog.csdn.net/qq_43406976/article/details/104538316

5. 响应内容

---

发送请求后，返回的是一个 response 对象。我们可以通过该对象的属性和方法获取返回内容。

| 方法或属性 | 说明 |

| — | — |

| response.url | 返回请求的URL |

| response.text | 返回headers中的编码解析的结果，可以通过r.encoding='gbk’来变更解码方式 |

| response.content | 返回二进制结果 |

| response.status_code | 返回响应码，如200、404等 |

| response.headers | 返回请求头 |

| response.cookies | 返回一个RequestsCookieJar对象 |

| response.history | 返回以列表存储的请求历史记录 |

| response.json() | 返回返回结果经json解码后的内容，一般返回一个字典（这是个方法，要带括号） |

6. 使用格式示例

---

6.1 爬取360翻译（POST）

url = ‘https://fanyi.so.com/index/search’

headers = {

‘pro’: ‘fanyi’,

}

data = {

‘eng’: 1,

‘query’: ‘hello’

}

r = requests.post(url, data=data, headers=headers)

print(r.url)

print(r.status_code)

print(r.json()[‘data’][‘fanyi’])

输出：

https://fanyi.so.com/index/search

200

你好

6.2 爬取图片/视频

import requests

pic = requests.get(‘https://profile.csdnimg.cn/E/5/9/3_weixin_52132159’).content

with open (‘作者头像.jpg’,‘wb’) as i:

i.write(pic)

---

更多爬虫的教学和案例可以见作者的专栏：Python爬虫

– the End –

==============================================================================

这篇文章就到这里了，点个赞支持一下吧！

本文收录于专栏：Python爬虫

关注作者，持续阅读作者的文章，学习更多Python知识！

https://blog.csdn.net/weixin_52132159

---

2021/8/6

已完成的爬虫教程：

• Python爬虫从0到1 | 入门实战：360翻译 ——requests库之POST方法

• Python爬虫从0到1 | 爬取酷我音乐信息并下载 ——requests库之GET方法

推荐阅读

• 【爬虫】想看片了，来一起用 Python 爬取豆瓣电影分类排行榜

• Python爬虫 | 爬取b站北京奥运会开幕式弹幕，有多少人从东京奥运会跑过来的？

• 绝密！Python爬虫告诉你刷分机器人背后的原理！这篇文章差点没过审

• Python每天一道题：昆虫繁殖问题？我把密密麻麻的幼虫和成虫搞定了

• 没想到我连五年级的题目都解不出来？可不能被人小看，让万能的Python登场
• Python：程序猿怎么追女生？教你短短几行代码表白，告别表白尴尬！
• 想学Python不知从何入手？学习Python必备秘籍，附地址，速拿！
• Python标准库：datetime 时间和日期模块 —— 时间的获取和操作详解
• 学习笔记 | PyInstaller 使用教程——用pyinstaller打包exe应用程序【建议收藏！】

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

三、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！