Python爬虫学习笔记_DAY_26_Python爬虫之requests库的安装与基本使用【Python爬虫】_requests库ip

苹果Android开发组

于 2024-05-06 12:45:46 发布

阅读量738

点赞数 9

分类专栏：程序员文章标签： python 爬虫学习

本文链接：https://blog.csdn.net/m0_61369275/article/details/138490894

版权

程序员专栏收录该内容

251 篇文章 0 订阅

订阅专栏

本文介绍了Python爬虫中requests库的基本使用，包括get和post请求、参数传递、设置编码、获取响应头等关键操作。通过实例展示了如何处理网页源码、状态码、响应头等内容，为Python爬虫学习者提供了实用指南。

摘要由CSDN通过智能技术生成

最后

Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

👉Python所有方向的学习路线👈

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

👉Python必备开发工具👈

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

👉Python全套学习视频👈

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

👉实战案例👈

学python就与学数学一样，是不能只看书不做题的，直接看步骤和答案会让人误以为自己全都掌握了，但是碰到生题的时候还是会一筹莫展。

因此在学习python的过程中一定要记得多动手写代码，教程只需要看一两遍即可。

👉大厂面试真题👈

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

response = requests.get(url = url)


**用requests库时，我们发起请求是通过requests.get()函数进行**的，**传参是目的网页的url**(**后续会有其他的传参**，暂时此处传入一个url)，并且**用response变量接受服务器的响应**。


接下来是**requests库的六种属性**：


1️⃣ **text属性：字符串形式返回网页源码**(由于**此时编码格式是gbk，中文部分可能会乱码**，稍后解决)

(1) text属性：以字符串形式返回网页源码

print(response.text) # 由于没有设置编码格式，中文会乱码




---


2️⃣ **encoding属性：**设置相应的编码格式

(2) encoding属性：设置相应的编码格式：

response.encoding = ‘utf-8’


这之后的**response就不会出现中文乱码现象**了。




---


3️⃣**url属性**：返回url地址

(3) url属性：返回url地址

url = response.url




---


4️⃣ **content属性**：返回二进制的数据

(4) content属性：返回二进制的数据

content_binary = response.content




---


5️⃣ **status\_code属性**：返回状态码 200是正常

(5) status_code属性：返回状态码 200是正常

status_code = response.status_code




---


6️⃣ **headers属性**：返回响应头

(6) headers属性：返回响应头

headers = response.headers




---


### III.requests库的GET请求


requests库的**get请求**的示例代码如下：

import requests

url = ‘https://www.baidu.com/s?’

headers = {
‘User-Agent’ : ‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36’
}

data = {
‘wd’ : ‘跳探戈的小龙虾’
}

三个参数：

url：请求路径

params：请求参数

kwargs：字典

不需要请求对象的定制

参数使用params进行传递

参数无需编码

同时不需要请求对象定制

请求路径的？字符可以加也可以省略

response = requests.get(url = url,params = data,headers = headers)

response.encoding = ‘utf-8’

content = response.text

print(content)


从上面可以看出来，requests最省代码的地方在于，它不需要进行请求对象的定制，如果换成**urllib库**，我们**需要先封装一个request请求对象**，**而后把这个对象传入urllib.request.urlopen()函数**中，而在**requests库**中，我们**只需要把三个参数，即url、data和headers传入**，**即可完成get请求**，十分方便！(上面的代码执行的是在百度中搜索‘跳探戈的小龙虾’返回的网页源码)




---


### IV.requests库的POST请求


接下来是**requests库的post请求**：

requests_post请求

import requests

url = ‘https://fanyi.baidu.com/sug’

headers = {
‘User-Agent’ : ‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36’
}

data = {
‘kw’ : ‘eye’
}

四个参数：

url：请求路径

data：请求参数

json数据

kwargs：字典

response = requests.post(url = url,data = data,headers = headers)

content = response.text

import json

obj = json.loads(content.encode(‘utf-8’))

print(obj)


如果说get请求requests库只比urllib库简单一点点的话，那么**post请求绝对是requests库更加便捷**，它**不仅省去的请求对象的定制**，而且**省略了参数的编码和转码的操作**，可以说**非常方便**，**只需要和get请求一样把三个参数url、data和headers传入即可**，因此**post请求个人强烈推荐用requests库代替urllib库**。




---


### IV.requests库的代理ip方法


最后介绍一下requests使用代理ip的方式，它又简化了urllib库，回忆**urllib库代理ip，我们需要创建handler处理器，还要定义opener对象**，但**requests库中，我们只需要把代理ip作为一个普通的参数，传入requests.get()/requests.post()函数即可**(简直太方便了！)