【零基础入门学习Python---Python数据处理和存储保姆级教程】

🚀 Python 🚀

🌲 算法刷题专栏 | 面试必备算法 | 面试高频算法 🍀
🌲 越难的东西,越要努力坚持，因为它具有很高的价值，算法就是这样✨
🌲 作者简介：硕风和炜，CSDN-Java领域优质创作者🏆，保研|国家奖学金|高中学习JAVA|大学完善JAVA开发技术栈|面试刷题|面经八股文|经验分享|好用的网站工具分享💎💎💎
🌲 恭喜你发现一枚宝藏博主,赶快收入囊中吧🌻
🌲 人生如棋，我愿为卒，行动虽慢，可谁曾见我后退一步？🎯🎯

🚀 Python 🚀

🍀 Python数据处理和存储

Python是一门强大的语言，它提供了许多内置和第三方库，用于各种数据处理和存储操作。本文将介绍以下内容：

• 使用内置的数据处理模块（csv、json、pickle等）
• 使用Pandas库进行数据处理和分析
• 使用NumPy库进行数值计算和矩阵操作
• 使用SQLAlchemy进行数据库操作
• 数据的持久化和序列化（文件存储、数据库存储）
• 数据库操作（连接、查询、更新、删除）

在每个模块下，我们将以代码示例来说明相关的概念和技术。

🌿 特别注意

特别说明:下面所有演示的案例代码默认你都已经安装了相关的模块，如果没有安装，按找下面的命令操作即可

# 案例演示
pip install 你需要的模块
# 具体实操
pip install csv
pip install json
pip install pickle 

🌿 使用内置的数据处理模块（csv、json、pickle等）

Python提供了多个内置的数据处理模块，如csv、json和pickle等。这些模块可以帮助我们轻松地处理常见的数据格式，如CSV、JSON和Python对象。

🌾 csv模块进行数据处理

以下是一个CSV文件读写的示例代码：

import csv

# 读取csv文件
with open('data.csv', mode='r') as file:
    reader = csv.reader(file)
    for row in reader:
        print(row)

# 写入一个csv文件
with open('data.csv', mode='w', newline='') as file:
    writer = csv.writer(file)
    writer.writerow(['id', 'name', 'age'])
    writer.writerow(['1', 'Tom', '25'])
    writer.writerow(['2', 'Jerry', '20'])

在这个示例中，我们使用csv模块读取了一个名为"data.csv"的CSV文件，并以行为单位打印了它的内容。接下来，我们使用相同的csv模块来写入一个csv文件。

好的，下面我将为你介绍如何使用Python内置的数据处理模块json和pickle。

🌾 json模块进行数据处理

JSON是一种轻量级的数据交换格式，JSON数据可以轻松地在不同的应用程序之间进行传递和处理。Python内置的json模块可以帮助我们轻松地进行JSON数据的编码和解码。

以下是一个使用json模块进行数据处理的示例代码：

import json

# 编码JSON
data = {'name': 'Tom', 'age': 25}
json_data = json.dumps(data)

# 打印编码后的JSON数据
print(json_data)

# 解码JSON
decoded_data = json.loads(json_data)

# 打印解码后的数据
print(decoded_data)

在这个示例中，我们首先创建了一个名为"data"的字典，并使用json.dumps()函数将其编码成JSON字符串。接着，我们使用print语句打印出编码后的JSON数据。最后，我们使用json.loads()函数解码JSON字符串，并将其存储在一个名为"decoded_data"的字典中，并使用print语句打印出解码后的数据。

使用类似方法，json模块还可以处理更加复杂的JSON数据格式。

🌾 pickle模块进行数据处理

Python中pickle模块可以帮助我们将Python对象序列化，从而轻松地进行对象保存和传输。pickle模块支持所有的Python对象，包括自定义类型、函数和类等。

以下是一个使用pickle模块进行数据处理的示例代码：

import pickle

# 序列化Python对象
data = {'name': 'Tom', 'age': 25}
serialized_data = pickle.dumps(data)

# 打印序列化后的数据
print(serialized_data)

# 反序列化Python对象
deserialized_data = pickle.loads(serialized_data)

# 打印反序列化后的Python对象
print(deserialized_data)

在这个示例中，我们首先创建了一个名为"data"的字典，并使用pickle.dumps()函数将其序列化成二进制字符串。接着，我们使用print语句打印出序列化后的数据。最后，我们使用pickle.loads()函数反序列化二进制字符串，将其存储在一个名为"deserialized_data"的字典中，并使用print语句打印出反序列化后的Python对象。

使用类似方法，pickle模块还可以序列化更加复杂的Python对象，如列表、元组、集合和自定义类等。

🌿 使用Pandas库进行数据处理和分析

Pandas是一个Python数据处理和分析库，它提供了高效的数据操作和分析工具，可以帮助我们轻松地进行各种数据处理和分析操作。

以下是一个Pandas示例代码：

import pandas as pd

# 创建一个数据框
data = {'name': ['Tom', 'Jerry', 'Alice', 'Bob'], 'age': [25, 20, 22, 30]}
df = pd.DataFrame(data)

# 打印数据框的内容
print(df)

# 从CSV文件创建数据框
df = pd.read_csv('data.csv')

在这个示例中，我们首先创建了一个数据框，包含了名字和年龄两个字段。接着，我们使用print语句打印数据框的内容。最后，我们在CSV文件中读取了数据，并创建了一个新的数据框。

使用类似方法，Pandas还可以执行文件解析、数据聚合、变换和分组等操作。

🌿 使用NumPy库进行数值计算和矩阵操作

NumPy是一个Python数值计算和科学计算库，它提供了高效的数值计算和矩阵操作工具，可以帮助我们轻松地进行各种数值计算和矩阵操作。

以下是一个NumPy示例代码：

import numpy as np

# 创建一个数组
a = np.array([1, 2, 3, 4, 5])

# 打印数组的内容
print(a)

# 数组操作
b = np.array([6, 7, 8, 9, 10])
print(a + b)
print(a * 2)

在这个示例中，我们首先使用NumPy库创建了一个数组，并使用print语句打印出它的内容。接着，我们进行了一些数学操作，包括加法和乘法，打印了它们的结果。

NumPy还可以执行矩阵操作、多维数组操作和随机数生成操作等。

🌿 使用SQLAlchemy进行数据库操作

SQLAlchemy是一个Python的ORM库，它可以生成SQL语句，同时在Python代码中允许我们以面向对象的方式进行数据库操作，比如连接数据库，查询、更新和删除数据等。

以下是一个SQLAlchemy示例代码：

from sqlalchemy import create_engine, Column, Integer, String
from sqlalchemy.orm import sessionmaker
from sqlalchemy.ext.declarative import declarative_base

# 连接数据库
engine = create_engine('sqlite:///data.db', echo=True)

# 创建ORM基类
Base = declarative_base()

# 定义数据模型
class User(Base):
    __tablename__ = 'users'

    id = Column(Integer, primary_key=True)
    name = Column(String)
    age = Column(Integer)

    def __repr__(self):
        return f"User(id={self.id}, name={self.name}, age={self.age})"

# 创建表格
Base.metadata.create_all(engine)

# 创建一个会话
Session = sessionmaker(bind=engine)
session = Session()

# 插入数据
user1 = User(name='Tom', age=25)
session.add(user1)
session.commit()

# 查询数据
users = session.query(User).all()
print(users)

# 更新数据
user = session.query(User).filter_by(name='Tom').first()
user.age = 26
session.commit()

# 删除数据
user = session.query(User).filter_by(name='Tom').first()
session.delete(user)
session.commit()

在这个示例中，我们首先使用SQLAlchemy连接了一个SQLite数据库，并定义了一个名为User的数据模型，该模型将映射到数据库中的一个用户表。接着，我们使用ORM的方式进行了插入、查询、更新和删除等操作，使用query()函数可以定义查询，all()函数可以返回查询结果。

🌿 数据的持久化和序列化（文件存储、数据库存储）

Python中可以使用多种方式将数据持久化存储到磁盘或数据库中，包括文件存储、数据库存储等。我们可以根据需求进行选择。

以下是一个文件存储示例代码：

import json

# 将数据写入json文件
data = {'name': 'Tom', 'age': 25}
with open('data.json', 'w') as f:
    json.dump(data, f)

# 从json文件中读取数据
with open('data.json', 'r') as f:
    data = json.load(f)
    print(data)

在这个示例中，我们首先将一个名为"data"的字典写入到"data.json"的文件中，接着使用json模块从这个文件中读取数据，并将数据存储在一个名为"data"的字典中，最后打印出来。

🌿 数据库操作（连接、查询、更新、删除）

Python中使用第三方库来实现数据库操作，比如使用MySQL的PyMySQL，使用MongoDB的pymongo等。

以下是一个MySQL数据库操作示例代码：

import pymysql

# 连接数据库
db = pymysql.connect(host='localhost', port=3306, user='root', password='password', database='mydb')
cursor = db.cursor()

# 插入数据
sql = "INSERT INTO users(name, age) VALUES('Tom', 25)"
cursor.execute(sql)
db.commit()

# 查询数据
sql = "SELECT * FROM users"
cursor.execute(sql)
results = cursor.fetchall()
for row in results:
    print(row)

# 更新数据
sql = "UPDATE users SET age=26 WHERE name='Tom'"
cursor.execute(sql)
db.commit()

# 删除数据
sql = "DELETE FROM users WHERE name='Tom'"
cursor.execute(sql)
db.commit()

# 关闭数据库连接
db.close()

在这个示例中，我们使用pymysql连接到一个MySQL数据库，使用execute()函数执行了插入、查询、更新和删除操作。最后，我们使用close()函数关闭了数据库连接。

🌵 总结

本文中，我们介绍了Python数据处理和存储相关的内容，包括使用内置的数据处理模块（csv、json、pickle等）、使用Pandas库进行数据处理和分析、使用NumPy库进行数值计算和矩阵操作、使用SQLAlchemy进行数据库操作、数据的持久化和序列化（文件存储、数据库存储）以及数据库操作（连接、查询、更新、删除）。通过掌握这些基本技术，我们可以轻松地进行各种数据处理和存储操作，从而更好地开发Python应用。希望这篇文章能够帮助你掌握Python数据处理和存储的基础知识，并且对你的实践产生启发。如果你还有其他问题或建议，欢迎在评论区留言。

💬 共勉

最后，我想和大家分享一句一直激励我的座右铭，希望可以与大家共勉！