Python NumPy 读取与保存数据：高效处理数据文件
文章目录
本文详细介绍了如何使用 Python 的 NumPy 库读取与保存不同格式的数据。通过 np.loadtxt 和 np.fromstring 等方法读取 CSV 文件及字符串数据，并利用 np.savetxt、np.save 和 np.savez 将数据保存为文本、二进制或压缩格式。文章还解释了每个函数的关键参数及其作用，帮助你更好地掌握数据处理的基本操作。通过这些操作，你可以实现高效的数据加载与存储，并且能够灵活地选择数据的存储格式，适应不同的项目需求。
导入 numpy 库
import numpy as np
一 主要涉及功能
| 加载常用数据格式 | 保存数据 |
|---|---|
np.loadtxt(), np.fromstring() | np.savetxt() |
np.save(), np.savez(), np.savez_compressed() |
二 数据读取
1 常规读取
导入 os 库
import os
print("data file in directory:", os.listdir("csv"))
with open("csv/data.csv", "r") as f:
print("\n", f.read())
2 numpy 读取
import numpy as np
data = np.loadtxt("csv/data.csv", delimiter=",", skiprows=1, dtype=np.int64)
print(data)
方法参数详解
np.loadtxt("csv/data.csv", delimiter=",", skiprows=1, dtype=np.int64)
-
"csv/data.csv": 这是你想要读取的文件的路径。文件需要位于执行 Python 脚本的同一目录中的csv文件夹下，或者提供正确的相对或绝对路径。 -
delimiter=",": 指定数据在文件中的分隔符。在 CSV 文件中，列通常是由逗号分隔的，所以这里使用逗号作为分隔符。 -
skiprows=1: 这个参数指示loadtxt函数跳过文件的第一行。这通常用于跳过包含列标题的行。 -
dtype=np.int64: 指定加载数据的数据类型。np.int64是一种整数类型，表示每个数值将被读取并存储为 64 位整数。
这些参数合起来使得 np.loadtxt 函数能够正确地从 CSV 文件读取数值数据，跳过标题行，并将所有数据元素解析为整数。
3 读字符串
row_string = "20131, 10, 67, 20132, 11, 88, 20133, 12, 98, 20134, 8, 100, 20135, 9, 75, 20136, 12, 78"
data = np.fromstring(row_string, dtype=np.int64, sep=",")
data = data.reshape(6, 3)
print("data ", data)
方法参数详解
np.fromstring(row_string, dtype=np.int64, sep=",")
-
row_string: 这是要解析的数据字符串，假定其中包含了以逗号分隔的数字。你需要确保row_string已经定义且格式正确，例如"1,2,3,4"。 -
dtype=np.int64: 指定解析数据的数据类型。在这里，np.int64表示每个解析出的数值将被存储为 64 位整数。 -
sep=",": 指定数据在字符串中的分隔符。这里使用逗号，因为它是 CSV 数据中常见的分隔符。
np.fromstring 函数会根据指定的分隔符将字符串分割为多个元素，然后根据指定的数据类型将这些字符串转换成数字。
三 保存数据
1 保存为文本格式
# 保存为文本格式
print("numpy data:\n", data)
np.savetxt("csv/save_data.csv", data, delimiter=",", fmt='%s')
print("data file in directory:", os.listdir("csv"))
with open("csv/save_data.csv", "r") as f:
print("\n", f.read())
2 保存二进制文件
np.save() 保存一个以 .npy 结尾的二进制文件，读取时使用 np.load() 加载这个二进制数据文件。
np.save("csv/save_data_10.npy", data)
print("data file in directory:", os.listdir("csv"))
npy_data = np.load("csv/save_data_10.npy")
print(npy_data)
3 一个文件保存多个 array
用 np.savez() 保存 .npz 文件将这多个 array 同时存储。
train_data = np.array([1, 2, 3])
test_data = np.array([11, 22, 33])
np.savez("csv/save_data_02.npz", train=train_data, test=test_data)
print("data file in directory:", os.listdir("csv"))
npz_data = np.load("csv/save_data_02.npz")
print("train:", npz_data["train"])
print("test:", npz_data["test"])
4 数据压缩
使用 np.savez_compressed() 压缩数据
np.savez_compressed("csv/save_data_compressed.npz", train=train_data, test=test_data)
print("data file in directory:", os.listdir("csv"))
npz_data_compressed = np.load("csv/save_data_compressed.npz")
print("train:", npz_data_compressed["train"])
print("test:", npz_data_compressed["test"])
print("compressed file size:", os.path.getsize("csv/save_data_compressed.npz"))
print("original file size:", os.path.getsize("csv/save_data_02.npz"))
四 完整代码示例
# This is a sample Python script.
# Press ⌃R to execute it or replace it with your code.
# Press Double ⇧ to search everywhere for classes, files, tool windows, actions, and settings.
import os
import numpy as np
def print_hi(name):
# Use a breakpoint in the code line below to debug your script.
print(f'Hi, {name}') # Press ⌘F8 to toggle the breakpoint.
# 加载常用数据格式
# 常规方法读 os
print("data file in directory:", os.listdir("csv"))
with open("csv/data.csv", "r") as f:
print("\n", f.read())
# 使用 numpy 读
data = np.loadtxt("csv/data.csv", delimiter=",", skiprows=1, dtype=np.int64)
print(data)
# 读字符串
row_string = "20131, 10, 67, 20132, 11, 88, 20133, 12, 98, 20134, 8, 100, 20135, 9, 75, 20136, 12, 78"
data = np.fromstring(row_string, dtype=np.int64, sep=",")
data = data.reshape(6, 3)
print("data ", data)
# 保存数据
# 保存为文本格式
print("numpy data:\n", data)
np.savetxt("csv/save_data.csv", data, delimiter=",", fmt='%s')
print("data file in directory:", os.listdir("csv"))
with open("csv/save_data.csv", "r") as f:
print("\n", f.read())
# 保存二进制文件
# np.save()
# 来保存，保存的是一个以.npy
# 结尾的二进制文件。加载的时候，我们能用
# np.load()
# 直接加载这个二进制数据文件。
np.save("csv/save_data_10.npy", data)
print("data file in directory:", os.listdir("csv"))
npy_data = np.load("csv/save_data_10.npy")
print(npy_data)
# 分开多个 array 来存放，一个 numpy 文件中保存多个 numpy array
train_data = np.array([1, 2, 3])
test_data = np.array([11, 22, 33])
np.savez("csv/save_data_02.npz", train=train_data, test=test_data)
print("data file in directory:", os.listdir("csv"))
npz_data = np.load("csv/save_data_02.npz")
print("train:", npz_data["train"])
print("test:", npz_data["test"])
# np.savez_compressed() 数据压缩
print()
np.savez_compressed("csv/save_data_compressed.npz", train=train_data, test=test_data)
print("data file in directory:", os.listdir("csv"))
npz_data_compressed = np.load("csv/save_data_compressed.npz")
print("train:", npz_data_compressed["train"])
print("test:", npz_data_compressed["test"])
print("compressed file size:", os.path.getsize("csv/save_data_compressed.npz"))
print("original file size:", os.path.getsize("csv/save_data_02.npz"))
# Press the green button in the gutter to run the script.
if __name__ == '__main__':
print_hi('读取保存数据')
# See PyCharm help at https://www.jetbrains.com/help/pycharm/
复制粘贴并覆盖到你的 main.py 中运行，运行结果如下。
Hi, 读取保存数据
data file in directory: ['save_data_compressed.npz', 'your_data.csv', 'save_data_02.npz', 'data.csv', 'save_data.csv', 'save_data_10.npy']
# StudentID, Age, Score
20131,10,67
20132,11,88
20133,12,98
20134,8,100
20135,9,75
20136,12,78
[[20131 10 67]
[20132 11 88]
[20133 12 98]
[20134 8 100]
[20135 9 75]
[20136 12 78]]
data [[20131 10 67]
[20132 11 88]
[20133 12 98]
[20134 8 100]
[20135 9 75]
[20136 12 78]]
numpy data:
[[20131 10 67]
[20132 11 88]
[20133 12 98]
[20134 8 100]
[20135 9 75]
[20136 12 78]]
data file in directory: ['save_data_compressed.npz', 'your_data.csv', 'save_data_02.npz', 'data.csv', 'save_data.csv', 'save_data_10.npy']
20131,10,67
20132,11,88
20133,12,98
20134,8,100
20135,9,75
20136,12,78
data file in directory: ['save_data_compressed.npz', 'your_data.csv', 'save_data_02.npz', 'data.csv', 'save_data.csv', 'save_data_10.npy']
[[20131 10 67]
[20132 11 88]
[20133 12 98]
[20134 8 100]
[20135 9 75]
[20136 12 78]]
data file in directory: ['save_data_compressed.npz', 'your_data.csv', 'save_data_02.npz', 'data.csv', 'save_data.csv', 'save_data_10.npy']
train: [1 2 3]
test: [11 22 33]
data file in directory: ['save_data_compressed.npz', 'your_data.csv', 'save_data_02.npz', 'data.csv', 'save_data.csv', 'save_data_10.npy']
train: [1 2 3]
test: [11 22 33]
compressed file size: 402
original file size: 552
五 源码地址
代码地址：
国内看 Gitee 之 numpy/读取保存数据.py
国外看 GitHub 之 numpy/读取保存数据.py
引用 莫烦 Python
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
