import pandas as pd
import os
pd.set_option('expand_frame_repr', False) # 当列太多时显示完整
# =====将数据存入hdf文件
# 批量读取文件名称
# file_list = []
# # 存储csv文件的文件夹路径
# file_location = r'C:\Users\Simons\Desktop\xbx_stock_2019\data\basic-trading-data\stock_data'
#
# for root, dirs, files in os.walk(file_location):
# for filename in files:
# if filename.endswith('.csv'):
# file_path = os.path.join(root, filename)
# file_path = os.path.abspath(file_path)
# file_list.append([filename, file_path])
#
# # 创建hdf文件
# h5_store = pd.HDFStore('a_stock_100.h5', mode='w')
#
# # 批量导入并且存储数据
# for filename, file_path in sorted(file_list)[:300]:
# stock_code = filename.split('.')[0]
# print(stock_code, filename, file_path)
# df = pd.read_csv(file_path, encoding='gbk', skiprows=1, parse_dates=['交易日期'
【python】pandas使用-使用HDF
最新推荐文章于 2024-08-03 12:18:23 发布
本文详细介绍了如何使用Python的Pandas库与HDF5格式进行数据操作,包括数据导入导出、存储优化及高效查询,帮助提升大数据处理效率。
摘要由CSDN通过智能技术生成