Python 各种数据保存与读取方法——numpy，dict，dataframe等等

---

前言

往往在做机器学习或者深度学习的时候，数据预处理部分需要大量的时间，如果每次debug都重新预处理数据，这样速度非常慢。
我有一个embedding的数据预处理过程，重新跑一次要两分钟，但是将预处理完的数据保存至本地后，导入数据只需要10秒，速度差距非常大。

---

一、写入与读取

1.Dataframe转csv，xlsx

Dataframe可以考虑转换为csv文件或者excel文件，CSV和excel的区别：

1.CSV是纯文本文件，可以记事本直接打开，excel不是纯文本，excel包含很多格式信息在里面。

2.CSV文件的体积会更小，创建分发读取更加方便，适合存放结构化信息，比如记录的导出，流量统计等等。

3.CSV文件在windows平台默认的打开方式是excel，但是它的本质是一个文本文件。
就把csv当作一种同时兼容记事本和excel的文件吧，如果是计算机专业的，存放数据集啥的，直接考虑csv格式。

代码如下（示例）：

import pandas as pd

% csv的保存与读取
df.to_csv("xxx.csv",index=False,sep=',')
df = pd.read_csv('xxx.csv', sheet_name='xxx',)

% excel的保存与读取
df.to_excel("xxx.xlsx",header=None,index=False)
df = pd.read_excel('xxx.xlsx', sheet_name='xxx',)

2.numpy(ndarray转npy)

ndarray数据类型可以使用以下代码保存与读取。list类型数据也可以考虑先转换为numpy保存，读取npy文件之后再转为list。

import numpy as np
np.save('C:/Users/xxx/photos.npy', photos) %保存至本地
photos = np.load('C:/Users/xxx/photos.npy') %读取至本地

3.dict转txt

字典类型数据的保存与读取。

保存：

f = open('C:/Users/xxx/photos.txt','w')
f.write(str(word_index))
f.close()

读取：

f = open('C:/Users/xxx/photos.txt','r')
a = f.read()
word_index = eval(a)
f.close()

---

总结

本文总结了python常用的三种格式数据的保存与读取方法。