3.1 requests与JSON基础

已于 2024-09-14 22:05:10 修改
阅读量1k 收藏 19
点赞数 18
文章标签： json python
于 2024-08-19 22:00:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44815507/article/details/141335913
版权

课程目标

  • 理解网络爬虫的基本概念及其在数据收集中的重要性
  • 掌握使用requests库发起HTTP请求并获取网页数据
  • 学习JSON数据格式的解析方法，并能够在Python中进行操作

课程内容

网络爬虫简介

网络爬虫（Web Crawler）是一种自动遍历网页的程序，它能够访问网页并从中提取信息。在Python中，我们可以使用requests库来实现这一功能。

HTTP协议

HTTP是一种协议，它规定了客户端（比如你的浏览器）和服务器之间如何交流信息。

  • 请求（Request）：当你在浏览器中输入一个网址（URL），浏览器就会向服务器发送一个HTTP请求。这个请求包含了你想要获取的资源的信息，比如网页、图片或视频。
  • 响应（Response）：服务器接收到请求后，会处理这个请求，并返回一个HTTP响应。这个响应包含了请求的资源，比如你请求的网页内容，以及一些状态信息，比如是否成功获取了资源。
HTTP报文
  • HTTP请求报文

假设你通过浏览器访问一个网页，你的浏览器可能会发送如下的HTTP请求报文到服务器：

GET /index.html HTTP/1.1
Host: www.example.com
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64)
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: en-US,en;q=0.5
Accept-Encoding: gzip, deflate
Connection: keep-alive

  • 请求行：GET /index.html HTTP/1.1 表示这是一个HTTP/1.1协议的GET请求，请求的资源是/index.html。

  • 请求头：包含了请求的一些附加信息，比如：

    • Host：请求的服务器域名。
    • User-Agent：发出请求的用户代理（通常是浏览器）信息。
    • Accept：客户端能够处理的媒体类型。
    • Accept-Language：客户端偏好的语言。
    • Accept-Encoding：客户端能够处理的压缩格式。
    • Connection：通常设置为keep-alive以保持连接，减少重复连接的开销。

  • HTTP响应报文

HTTP/1.1 200 OK
Date: Mon, 14 Sep 2024 12:34:56 GMT
Server: Apache/2.4.1 (Unix)
Last-Modified: Wed, 08 Sep 2024 23:10:00 GMT
Content-Length: 12345
Content-Type: text/html
Connection: keep-alive

<html>
<head>
    <title>Example Web Page</title>
</head>
<body>
    <h1>Welcome to Example.com</h1>
    <p>This is an example web page.</p>
</body>
</html>
  • 状态行：HTTP/1.1 200 OK 表示服务器成功处理了请求，并且返回了状态码200，表示请求成功。
  • 响应头：包含了响应的一些附加信息，比如：
    • Date：响应生成的日期和时间。
    • Server：服务器软件的信息。
    • Last-Modified：资源最后被修改的时间。
    • Content-Length：响应体的长度。
    • Content-Type：响应体的媒体类型。
    • Connection：表示连接是否保持。
  • 响应体：包含了请求的资源内容，在这个例子中是HTML代码。

这个响应报文的主体部分是HTML代码，表示请求的网页内容。

请注意，实际的HTTP报文可能会包含更多的头部字段，具体取决于请求和响应的上下文。

HTTPS

HTTPS（全称为 Hypertext Transfer Protocol Secure）是HTTP的安全版本，它在HTTP的基础上通过SSL/TLS协议提供了数据加密

请求的发送

使用requests库，我们可以轻松地发送HTTP请求。首先，我们需要导入requests模块，然后使用其方法来发送请求。

import requests

# GET请求，获取网页内容
response = requests.get('https://www.xxx.com/')
print(response.text)  # 打印网页的源代码
响应对象属性

每次调用requests发送请求后，都会返回一个Response对象。该对象包含了响应的详细信息，如状态码、头部、内容等。

  • status_code: 响应状态码
  • headers: 响应头部
  • content: 响应内容（字节格式）
  • text: 响应内容（解码后的字符串格式）
  • json(): 解析JSON响应内容
requests模块的常用方法

requests模块提供了一系列方法来发送不同类型的HTTP请求。

  • get(url, params=None): 发送GET请求
  • post(url, data=None): 发送POST请求
  • put(url, data=None): 发送PUT请求
  • delete(url): 发送DELETE请求
  • head(url): 发送HEAD请求
GET请求

GET请求是最常用的HTTP方法之一，通常用于请求服务器发送资源。GET请求应该只用于获取数据，而不是修改服务器上的资源。

# 发送GET请求
response = requests.get('https://api.example.com/data')
print(response.text)  # 打印获取的资源内容

当使用GET请求时，可以通过params参数传递查询字符串，服务器根据查询字符串返回相应的数据。

# 发送GET请求并传递查询参数
params = {'key1': 'value1', 'key2': 'value2'}
response = requests.get('https://api.example.com/data', params=params)
POST请求

POST请求用于向服务器提交数据进行处理，例如表单提交。服务器通常会根据提交的数据进行一些操作，如创建新的资源。

# 发送POST请求
data = {'key1': 'value1', 'key2': 'value2'}
response = requests.post('https://api.example.com/submit', data=data)
print(response.text)  # 打印服务器响应的内容

POST请求的数据可以通过data参数传递，通常是字典类型，requests会自动将其编码为表单提交所需的格式。

PUT请求

PUT请求与POST类似，也是用于向服务器提交数据。不同之处在于PUT通常用于更新服务器上的现有资源或创建新资源，而POST用于创建新资源。

# 发送PUT请求
data = {'key1': 'value1', 'key2': 'value2'}
response = requests.put('https://api.example.com/resource/123', data=data)
print(response.text)  # 打印服务器响应的内容

PUT请求通常用于更新资源，URL中包含了要更新的资源标识符。

DELETE请求

DELETE请求用于删除服务器上的资源。通过指定的URL，服务器将删除对应的资源。

# 发送DELETE请求
response = requests.delete('https://api.example.com/resource/123')
print(response.text)  # 打印服务器响应的内容

DELETE请求通常不需要传递额外的数据，只需要指定要删除的资源URL。

HEAD请求

HEAD请求与GET请求相似，但它只请求资源的头部信息，不包括资源的主体。HEAD请求常用于检查资源是否存在，或者获取资源的元数据。

# 发送HEAD请求
response = requests.head('https://api.example.com/data')
print(response.status_code)  # 打印状态码，200表示资源存在
print(response.headers)  # 打印响应头信息

HEAD请求不返回资源内容，只返回头部信息，因此可以用来检查资源的状态或获取资源的元数据而不加载整个资源。

请求头和查询参数

在发送请求时，我们经常需要设置请求头或传递查询参数。

# 设置请求头
headers = {
    'User-Agent': 'Mozilla/5.0',
    'Accept': 'application/json'
}

# 发送GET请求，传递查询参数
params = {'key': 'value'}
response = requests.get('https://api.example.com/data', headers=headers, params=params)
JSON数据的解析

JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，易于人阅读和编写，同时也易于机器解析和生成。

# 请求JSON数据
response = requests.get('https://api.example.com/data')
data = response.json()  # 将响应内容解析为JSON对象

# 访问解析后的数据
print(data['key'])
cookies

在发送请求时，我们可能需要设置cookies，以便服务器能够识别用户身份。
示例

cookies = {
    'sessionid': '1234567890'
}
response = requests.get('https://api.example.com/data', cookies=cookies)
JSON讲解
函数功能描述示例代码
json.dumps(obj, *, skipkeys=False, ensure_ascii=True, check_circular=True, allow_nan=True, cls=None, indent=None, separators=None, default=None, sort_keys=False, **kw)将Python对象编码成JSON字符串。import json
data = {"name": "John", "age": 30}
json_string = json.dumps(data)
json.dump(obj, fp, *, skipkeys=False, ensure_ascii=True, check_circular=True, allow_nan=True, cls=None, indent=None, separators=None, default=None, sort_keys=False, **kw)将Python对象编码成JSON字符串并写入到文件。import json
data = {"name": "John", "age": 30}
with open('data.json', 'w') as f:
json.dump(data, f)
json.loads(s, *, cls=None, object_hook=None, parse_float=None, parse_int=None, parse_constant=None, object_pairs_hook=None, **kw)将JSON字符串解码成Python对象。import json
json_string = '{"name": "John", "age": 30}'
data = json.loads(json_string)
json.load(fp, *, cls=None, object_hook=None, parse_float=None, parse_int=None, parse_constant=None, object_pairs_hook=None, **kw)从文件中读取JSON字符串并解码成Python对象。import json
with open('data.json', 'r') as f:
data = json.load(f)
json.JSONDecoder()创建一个JSON解码器对象。import json
decoder = json.JSONDecoder()
data = decoder.decode('{"name": "John", "age": 30}')
json.JSONEncoder()创建一个JSON编码器对象。import json
encoder = json.JSONEncoder()
json_string = encoder.encode({"name": "John", "age": 30})
json.tool.*提供命令行界面来验证和格式化JSON。命令行中使用 python -m json.tool

附录

响应状态码
状态码类别含义
100信息性状态码继续
101信息性状态码切换协议
200成功OK
201成功创建成功
202成功接受
203成功非授权信息
204成功无内容
205成功重置内容
206成功部分内容
300重定向多种选择
301重定向永久移动
302重定向临时移动（以前称为“重定向”）
303重定向查看其他位置
304重定向未修改
307重定向临时重定向（不允许POST变更为GET）
308重定向永久重定向（不允许POST变更为GET）
400客户端错误错误请求
401客户端错误未授权
402客户端错误需要付款
403客户端错误禁止访问
404客户端错误未找到
405客户端错误方法不允许
406客户端错误不接受
407客户端错误需要代理授权
408客户端错误请求超时
409客户端错误冲突
410客户端错误已删除
411客户端错误需要有效长度
412客户端错误未满足前提条件
413客户端错误请求实体过大
414客户端错误请求URI过长
415客户端错误不支持的媒体类型
416客户端错误请求范围不符合要求
417客户端错误预期失败
500服务器错误内部服务器错误
501服务器错误未实现
502服务器错误错误的网关
503服务器错误服务不可用
504服务器错误网关超时
505服务器错误HTTP版本不受支持
请求头字段解释
字段名称描述示例值
authorityHTTP/2协议中的请求目标服务器权威名称，相当于HTTP/1中的Host字段‘tgfly.huizejiuzhou.com’
accept客户端能够接受的内容类型‘application/json, text/plain, /’
accept-language客户端能够接受的语言，优先级从高到低‘zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6’
cache-control控制响应的缓存行为‘no-cache’
content-type请求体的媒体类型‘application/json’
origin请求发起的源站点，用于服务器判断是否允许跨域请求‘https://tgfly.huizejiuzhou.com’
pragma告诉中间代理不要缓存响应，主要用于HTTP/1‘no-cache’
referer请求是从哪个页面发起的，用于服务器分析请求来源‘https://tgfly.huizejiuzhou.com/login’
sec-ch-ua用户代理字符串的一部分，标识浏览器类型和版本‘“Chromium”;v=“122”, “Not(A:Brand”;v=“24”, “Microsoft Edge”;v=“122”’
sec-ch-ua-mobile请求是否来自移动设备‘?0’
sec-ch-ua-platform用户的操作系统平台‘“Windows”’
sec-fetch-dest请求的目的地‘empty’
sec-fetch-mode请求是否使用CORS模式‘cors’
sec-fetch-site请求是否来自同一源站点‘same-origin’
user-agent提供关于用户浏览器、操作系统和设备的信息‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36 Edg/122.0.0.0’
欧阳枫落
关注
第3章-03-Python库Requests安装与讲解
黑夜开发者的博客
08-29 943
Requests是Python的一个第三方HTTP库，用于发送HTTP/1.1请求。与Python标准库中的urllib和urllib2相比，Requests库更加简洁易用，且支持自动处理cookies和会话、持久连接、上传文件等高级功能。Requests库几乎满足了所有HTTP请求的需求，是Python爬虫和Web开发中常用的库之一。Requests库是Python中非常流行的HTTP库，它提供了简洁易用的API来发送HTTP请求和处理响应。
Requests模块（三）-- JSON格式与字符串转换语法
想做测开的点工
03-13 1826
一、JSON格式介绍 json数据是开发常用的一种数据报文交换格式，常用于接口返回前端、接口之间传递信息等，两种格式 1、键值对：{"name":"丸子"} 2、数组格式：[{"name":"丸子"},{"name":"金子"}] 二、如何判断数据是否为json格式 1、键值对格式和数组格式可以嵌套使用 2、python，json数据相当于字典、列表（字符串一定要用双引号） 三、举例说明 举例一：把json对象转换成字符串 json.dumps() 转化过程自动把中文字符编码成Unico
一文详解 requests 库中 json 参数和 data 参数的用法
主要分享测试的学习资源，帮助快速了解测试行业，帮助想转行、进阶、小白成长为高级测试工程师。
07-18 3722
在requests库当中，requests请求方法，当发送post/put/delete等带有请求体的请求时，有json和data2个参数可选。 众所周知，http请求的请求体格式主要有以下4种：
获取request中json数据
A_dai_a的博客
10-29 3313
public static String getRequestBody(HttpServletRequest request) { BufferedReader br = null; StringBuilder sb = new StringBuilder(); String str = “”; try { br = request.getReader(); while ((str = br.readLine()) != null) { sb.append(str); } br.close(); } cat
在request中获取请求中的json数据
alan_waker的博客
03-07 2万+
一直以来,前台提交的json数据在springmvc中都是使用@RequestBody进行接受.以至于今天由于在springsecurity中需要获取到json数据,一时间没有了头绪.理论上数据都应该可以在request中获取到,但是没查到,源码中也没有发现.多次查找了一些博客或其他文章.终于找到了一篇文章完美解决了.下面是代码package com.ycgwl.kylin.security.ut...
对python requests发送json格式数据的实例详解
09-19
### Python Requests 发送 JSON 格式数据的实例详解 在当今快速发展的互联网环境中，API 接口变得越来越重要。为了确保应用程序之间的顺畅交互，开发者经常需要通过 HTTP 请求发送或接收 JSON 数据。Python 的 `...
Python Requests库与JSON共舞：处理JSON数据和API交互，得心应手
[Python Requests库与JSON共舞：处理JSON数据和API交互，得心应手](https://img-blog.csdnimg.cn/direct/f85d9377e8f54974be6b165ffbc93739.png) # 1. JSON数据简介 JSON（JavaScript Object Notation）是一种轻量...
使用requests处理JSON格式的请求和响应数据
# 1. 引言 ## 1.1 介绍Requests库和JSON数据 ...本章的目标是介绍如何使用Requests库发送JSON请求和处理JSON响应。我们将学习如何安装和导入Requests库，以及如何发送GET和POST请求并传递JSON数据。
《Python基础教程》内容总览篇（持续更新中）
热门推荐
weixin_43178406的博客
08-26 19万+
大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的知识进行总结与归纳，不仅形成深入且独到的理解，而且能够帮助新手快速入门。个人精心开设的《Python基础课程》专栏订阅量接近900，帮助不少同学解决了Bug。
基于HttpWebRequest获取json数据，解析后动态展示
muyiliu的博客
02-20 734
指挥渔业展示系统
Requests json 字符串转字典
mixboot
02-05 1677
Requests json 字符串转字典1，Requests json 字符串转字典 1，Requests json 字符串转字典 #!/usr/local/bin/python3 import requests import json url = requests.get('https://filscan.io:8700/v0/filscan/BaseInformation') data = ...
Python网络请求requests、JSON转换
Aai1624的博客
11-29 7294
在 Python 众多的 HTTP 客户端中，最有名的莫过于requests、aiohttp和httpx。 在不借助其他第三方库的情况下，requests只能发送同步请求；aiohttp只能发送异步请求；httpx既能发送同步请求，又能发送异步请求。 那么怎么选择呢 只发同步请求用requests，但可配合多线程变异步。 只发异步请求用aiohttp，但可以配合await变同步。 httpx可以发同步请求也可以异步，但是请求速度同步略差于requests，异步...
python requests返回json解析
weixin_30488835的博客
08-07 235
Python Requests 返回 JSON 解析 在现代应用开发中，网络请求是不可或缺的一部分。Python 的 requests 库以其简单易用的特点，成为了进行 HTTP 请求的热门选择。本文将介绍如何使用 requests 库获取 JSON 数据并进行解析，我们还将结合饼状图和旅行图进行进一步的理解。 安装 re...
java 获取request中的json请求体
最新发布
qq_37741426的博客
08-14 550
java 获取request中的json请求体
requests 发送一个 json 格式的 post 请求
nhb687095的博客
07-06 1869
今天给一位同学解决post发送数据格式为json格式的请求，顺便确认一下问题归属。
Requests和json
baidu_32542573的博客
06-23 848
======================1.爬取抽屉网信息（json数据）==========================import requests from fake_useragent import UserAgent agent = UserAgent() import json # # # 不要重复造轮子 # # pip search 工具包名字 # # # pip insta...
requests 爬取json格式的数据
qq_74831786的博客
01-12 533
【代码】requests 爬取json格式的数据。
python requests.json
10-23
Python中的requests库是一个常用的HTTP请求库，它可以方便地发送HTTP请求并获取响应。其中，requests.json()是requests库中的一个方法，用于将HTTP响应的内容解析为JSON格式的数据。如果响应的内容是JSON格式的，那么我们可以直接使用response.json()方法将其解析为Python中的字典或列表类型。如果响应的内容不是JSON格式的，那么我们可以使用json.loads()方法将其转换为Python中的字典或列表类型。在使用requests库发送POST请求时，我们可以将请求参数以JSON格式传递，具体方法是使用json参数而不是data参数。例如，使用requests.post(url, json=params)来发送POST请求，并将请求参数params以JSON格式传递。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值