第1关：requests 基础

Jerry&

于 2024-01-22 11:04:52 发布

阅读量1.1k

点赞数 6

分类专栏：头歌Python获取与清洗文章标签：前端 python

本文链接：https://blog.csdn.net/m0_55900042/article/details/135743183

版权

头歌Python获取与清洗专栏收录该内容

26 篇文章 6 订阅

订阅专栏

任务描述

本关任务：编写一个 requests 请求网页的程序。

相关知识

为了完成本关任务，你需要掌握：requests 的安装和 requests 的常用方法。

requests 的安装

我们之前介绍了 urllib 库的使用，它是作为爬虫入门工具来介绍的，对新手理解 Python 爬虫的整个流程很有帮助。在掌握了爬虫基本思想流程后，就需要引入更高级的工具来提高我们的开发效率，这里就开始给大家介绍 requests 库的使用。

如果本地 Python 环境没有安装 requests ，可以在 命令提示符 窗口输入命令 pip install requests ，安装 requests 模块 ，如下图所示:

requests 的常用方法

requests 可以用来模拟浏览器请求，下面介绍实现方法。以 GET 请求为例，实现代码如下所示:

res = requests.get(url, params=params, headers=headers)

参数说明：

url ：需要抓取的 URL 地址；
params : 网址带参请求的方法，字典类型；
headers : 请求头。

以百度搜索为例，现在有这样一个网址 https://www.baidu.com/s?wd=requests ，由主要网址 https://www.baidu.com/s 和参数 wd 组成，需要发起 GET 请求，方法有两种。

方法一：

import requests # 导包
url = 'https://www.baidu.com/s?wd=requests'
header = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/"
"537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"}
response = requests.get(url, headers=header) #模拟 get 请求
response.encoding = 'utf-8' # 指定编码
print(response.text) # 打印网页信息文本

方法二：

import requests # 导包
url = 'https://www.baidu.com/s'
header = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/"
"537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"}
params = {'wd': 'requests'} # 定义参数
response = requests.get(url, params=params, headers=header) #模拟 get 请求
response.encoding = 'utf-8' # 指定编码
print(response.text) # 打印网页信息文本

以上两种方法，都可以得到同一个网页的信息。可以看出，与 urllib 相比，requests 代码更加简洁。

上述代码还用到了响应对象（ response ）的属性，比如 response.encoding 和 response.text ，响应对象还有一些其它属性：

encoding ：响应字符编码 res.encoding = 'utf-8'；
text ：字符串，网站源码；
content ：字节流，字符串网站源码；
status_code ：HTTP 响应码；
url ：实际数据的 URL 地址。

接下来演示一下 POST 请求，代码同样非常简洁，实现代码如下所示:

res = requests.post(url, data=data, headers=headers)

参数说明：

url ：需要抓取的 URL 地址；
data : 提交常见的 form 表单的方法，字典类型；
headers : 请求头。

以豆瓣登录为例，登录网址为 https://www.douban.com/ ，但这只是登录页面网址。为了找到真正的登录网址，需要打开 开发者工具 ，然后在网页上实际进行登录操作，在 Network 项目下，选中文件 basic ，可以得到 post 请求的网址为 https://accounts.douban.com/j/mobile/login/basic ，如下图所示：

如果将上图的页面往下拉，可以看到 data 参数为：

以下代码演示了模拟登录的 POST 请求：

import requests # 导包
# 模拟请求头
header = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/"
"537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"}
# 定义 data 信息
data = {
"name": "账号",
"password": "密码",
}
url = "https://accounts.douban.com/j/mobile/login/basic"
response = requests.post(url=url, headers=header, data=data) # 模拟登录请求
response.encoding = "utf-8" # 定义编码
html_content = response.text
print(html_content) # 打印网页信息

编程要求

根据提示，在右侧编辑器 Begin-End 区间补充代码，完善函数 get_html() ，用 requests.get 请求获取网页信息。

测试说明

平台会对你编写的代码进行测试，当评测出现 Django 启动失败时，重新评测即可。

代码：

import requests


def get_html(url):
    '''
    两个参数
    :param url:统一资源定位符,请求网址
    :param headers:请求头
    :return:html
    '''
    
    # ***************** Begin ******************** #

    # 补充请求头
    headers={ "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/"
                  "537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"}
    # get请求网页
    response = requests.get(url=url, headers=headers)
    response.encoding = "utf-8" 
    # 获取网页信息文本
    html = response.text
    # ***************** End ******************** #
    return html