python用pandas写入csv_python – 为什么在使用Pandas写入时,CSV文件小于HDF5文件？

import numpy as np

import pandas as pd

df = pd.DataFrame(data=np.zeros((1000000,1)))

df.to_csv('test.csv')

df.to_hdf('test.h5', 'df')

ls -sh test*

11M test.csv 16M test.h5

如果我使用更大的数据集,那么效果会更大.使用如下的HDFStore不会改变任何东西.

store = pd.HDFStore('test.h5', table=True)

store['df'] = np.zeros((1000000,1))

store.close()

编辑：

没关系.这个例子很糟糕！使用一些非平凡的数字而不是零来改变故事.

from numpy.random import rand

import pandas as pd

df = pd.DataFrame(data=rand(10000000,1))

df.to_csv('test.csv')

df.to_hdf('test.h5', 'df')

ls -sh test*

260M test.csv 153M test.h5

将数字表示为浮点数应该比将其表示为每个数字一个字符的字符串少占用字节数.这通常是正确的,除了我的第一个例子,其中所有数字都是’0.0′.因此,表示数字所需的字符不多,因此字符串表示小于浮点表示.