python使用feather加速读写

首先安装feather库：

pip install feather-format

网上有测试说针对2G以下的单文件读写的效率非常高，这里做一个使用记录

不过需要注意的是：DataFrame写入feather文件时，列（DataFrame.columns）需要是字符串类型

示例程序

import numpy as np
import pandas as pd


def main():
    df = pd.DataFrame(data=np.random.random(size=(50000, 10))) # 生成dataframe
    df.columns = [f"列{_}" for _ in df.columns] # 转换列的数据类型
    df.to_feather("test_file.feather")  # 写入feather文件
    read_df = pd.read_feather("test_file.feather")  # 读取feather


if __name__ == '__main__':
    main()