【python】pandas使用-批量导入数据

本文详细介绍了如何使用Python的Pandas库进行批量数据导入,涵盖了读取不同格式文件、处理大型数据集以及优化内存使用等关键技巧,助力提升数据分析效率。
摘要由CSDN通过智能技术生成
import pandas as pd
import os

pd.set_option('expand_frame_repr', False)  # 当列太多时显示完整

# =====导入浦发银行(sh600000)的历史日线数据
df = pd.read_csv(
    r'C:\Users\Simons\Desktop\xbx_stock_2019\data\basic-trading-data\stock_data\sh600004.csv',
    encoding='gbk',
    skiprows=1, parse_dates=['交易日期']
)

# =====批量导入A股所有股票的历史日线数据
# 系统自带函数os.walk,用于遍历文件夹中的所有文件,os是python自带的系统库
# 演示os.walk

# file location存储我们要读取的数据的文件夹绝对路径
file_location = r'C:\Users\Simons\Desktop\xbx_stock_2019\data\basic-trading-data\stock_data'

# for root, dirs, files in os.walk(file_location):
#     # root输出文件夹,dirs输出root下所有的文件夹,files输出root下的所有的文件
#     print('当前文件夹:', root)
#     print('包含的文件夹:', dirs)
#     print('包含的文件:', files)
#     print()

# 批量读取文件名称
# file_list = []
# for root, dirs, files in os.walk(file_location):
#     for filename i
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值