18.1 使用python进行网络请求与数据解析

最新推荐文章于 2024-10-18 00:00:00 发布

野老杂谈

最新推荐文章于 2024-10-18 00:00:00 发布

阅读量182

点赞数 1

分类专栏：遇见Python：初识、了解与热恋文章标签： python 网络开发语言网络请求数据解

本文链接：https://blog.csdn.net/u010225915/article/details/141188107

版权

遇见Python：初识、了解与热恋专栏收录该内容

56 篇文章 1 订阅

订阅专栏

欢迎来到我的博客，很高兴能够在这里和您见面！欢迎订阅相关专栏：
工💗重💗hao💗：野老杂谈
⭐️ 全网最全IT互联网公司面试宝典：收集整理全网各大IT互联网公司技术、项目、HR面试真题.
⭐️ AIGC时代的创新与未来：详细讲解AIGC的概念、核心技术、应用领域等内容。
⭐️ 全流程数据技术实战指南：全面讲解从数据采集到数据可视化的整个过程，掌握构建现代化数据平台和数据仓库的核心技术和方法。
⭐️ 构建全面的数据指标体系：通过深入的理论解析、详细的实操步骤和丰富的案例分析，为读者提供系统化的指导，帮助他们构建和应用数据指标体系，提升数据驱动的决策水平。
⭐️《遇见Python：初识、了解与热恋》：涵盖了Python学习的基础知识、进阶技巧和实际应用案例，帮助读者从零开始逐步掌握Python的各个方面，并最终能够进行项目开发和解决实际问题。

摘要

在现代编程中，网络请求与数据解析是不可或缺的技能。无论是抓取网页数据、与API交互，还是处理各种格式的数据，如JSON、XML，这些操作都离不开对网络请求和数据解析的掌握。本文将带你穿越代码的迷宫，深入浅出地介绍网络请求的基础知识，如何使用Python进行数据解析，并配以生动有趣的实例。你将学会如何使用 requests 库发送请求、解析数据，以及如何优雅地处理网络带来的各种挑战。

关键词

网络请求
数据解析
Python
JSON
API

一、初识网络请求

在互联网的世界里，数据像是川流不息的江河，而网络请求则是你的小船，它带你从数据的源头获取到你想要的东西。

当你访问一个网站时，你的浏览器在背后悄悄地发出了一个HTTP请求。这就像是你在便利店买东西时，告诉店员你要买什么。而店员（服务器）收到你的请求后，会返回一个你要的物品（响应）。

在Python中，网络请求的实现就像给超市老板发个购物清单一样简单——只要一行代码就能搞定。

import requests

response = requests.get('https://api.github.com')
print(response.text)

在上面的代码中，requests.get 发出了一个HTTP GET请求，请求的是 GitHub 的API。response.text 就是从服务器返回的响应内容。

二、解析返回的数据

收到数据后，就像是拿到了一堆原材料，接下来我们需要将它们“加工”成我们需要的样子。常见的原材料格式有JSON、XML、HTML等。

1. 解析JSON

JSON（JavaScript Object Notation）是网络中常见的数据格式，就像是编程世界的“普通话”，大部分的API都喜欢用它。

import requests

response = requests.get('https://api.github.com')
data = response.json()
print(data['current_user_url'])

在这个例子中，我们把返回的响应数据转成了JSON格式，然后轻松地获取了我们需要的内容。

2. 解析XML

XML也是一种常见的格式，虽然它有点像旧时的文言文，但在某些领域（比如RSS feeds）仍然很受欢迎。Python的 xml.etree.ElementTree 模块让我们可以轻松地解析这种格式。

import xml.etree.ElementTree as ET

data = '''<user><name>ChatGPT</name><id>1234</id></user>'''
root = ET.fromstring(data)
print(root.find('name').text)

在上面的代码中，我们解析了一个简单的XML字符串，并且找到了 <name> 元素的值。

3. 解析HTML

有时，我们需要直接从网页中提取数据。这就像是在超市货架上直接找你要的东西。BeautifulSoup 是处理HTML的利器。

from bs4 import BeautifulSoup

html = '<html><body><h1>Hello, World!</h1></body></html>'
soup = BeautifulSoup(html, 'html.parser')
print(soup.h1.text)

BeautifulSoup 将HTML解析为一个对象，然后你可以轻松地找到你需要的内容。

三、与API的亲密接触

API（应用程序接口）是另一个常见的用法，简而言之，它是你和服务器之间的通讯桥梁。大部分API都会要求你发送一些数据（比如你的身份信息或者你要查询的内容），然后返回给你一个响应。

import requests

url = 'https://api.example.com/data'
headers = {'Authorization': 'Bearer YOUR_ACCESS_TOKEN'}
response = requests.get(url, headers=headers)
data = response.json()
print(data)

在这里，我们使用了 Authorization 头部来发送我们的身份信息，确保我们有权限获取数据。

四、处理异常与挑战

网络请求并非总是一帆风顺，可能会遇到各种各样的问题：超时、断网、404错误等等。幸运的是，Python提供了丰富的错误处理机制。

import requests

try:
    response = requests.get('https://api.example.com/data', timeout=5)
    response.raise_for_status()
except requests.exceptions.Timeout:
    print("请求超时了！")
except requests.exceptions.HTTPError as err:
    print(f"HTTP错误：{err}")
except requests.exceptions.RequestException as e:
    print(f"请求异常：{e}")

在这个例子中，我们捕获了常见的请求异常，并输出了相应的错误信息。

五、实战案例：抓取天气数据

让我们通过一个具体的例子来巩固刚刚学到的知识。假设你想要抓取天气数据并解析出今天的天气情况，我们可以使用一个免费的天气API来实现这个需求。

import requests

url = 'http://api.weatherapi.com/v1/current.json'
params = {
    'key': 'YOUR_API_KEY',
    'q': 'Beijing',
    'aqi': 'no'
}
response = requests.get(url, params=params)
data = response.json()

print(f"北京的当前温度是 {data['current']['temp_c']} 摄氏度。")