【python】pandas使用-使用HDF

本文详细介绍了如何使用Python的Pandas库与HDF5格式进行数据操作,包括数据导入导出、存储优化及高效查询,帮助提升大数据处理效率。
摘要由CSDN通过智能技术生成
import pandas as pd
import os

pd.set_option('expand_frame_repr', False)  # 当列太多时显示完整


# =====将数据存入hdf文件
# 批量读取文件名称
# file_list = []
# # 存储csv文件的文件夹路径
# file_location = r'C:\Users\Simons\Desktop\xbx_stock_2019\data\basic-trading-data\stock_data'
#
# for root, dirs, files in os.walk(file_location):
#     for filename in files:
#         if filename.endswith('.csv'):
#             file_path = os.path.join(root, filename)
#             file_path = os.path.abspath(file_path)
#             file_list.append([filename, file_path])
#
# # 创建hdf文件
# h5_store = pd.HDFStore('a_stock_100.h5', mode='w')
#
# # 批量导入并且存储数据
# for filename, file_path in sorted(file_list)[:300]:
#     stock_code = filename.split('.')[0]
#     print(stock_code, filename, file_path)
#     df = pd.read_csv(file_path, encoding='gbk', skiprows=1, parse_dates=['交易日期'
  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值