Python——requests模块

简单了解下爬虫的模块

文章目录

• 前言
• 一、requests是什么？
• 二、使用步骤
  • 1.安装包
  • 2.导包
  • 3.思路
• 总结

---

前言

这次，我们来聊聊怎样爬取简单的网页，利用requests第三方模块

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、requests是什么？

requests模块是个第三方库，可以用来简单爬取网页的基本数据

二、使用步骤

1.安装第三方包

代码如下（示例）：

pip install requests

2.导包

代码如下（示例）：

import requests

3.思路

一般网页的url都能在开发者模式下找到对应的请求接口，便可找到url

1.按下F12键，即可打开网页的开发者模式

2.点击Network，找到相对应的包，点击，查看headers中的Request URL

 3.找到浏览器的User-Agent：

 

代码示例：

import requests
# 确定 url
url = "https://www.baidu.com/"

# 获取请求头
headers = {"User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36"}

# 发 送 请 求 获取响应
reponse = requests.get(url,headers=headers)

print(reponse.content.decode('utf-8'))

---

总结

requests使用流程：获取url和请求头，发起对应的响应，例如get请求，然后用获取响应内容