机器学习3：——Pandas——3：文件读取和存储

最新推荐文章于 2023-06-10 02:11:21 发布
最新推荐文章于 2023-06-10 02:11:21 发布
阅读量684 收藏 2
点赞数
分类专栏： 机器学习 文章标签： python 数据库 pycharm pandas
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Dihuib/article/details/120479781
版权

一.文件读取与存储

学习目标

  • 目标
    • 了解Pandas的几种文件读取存储操作
    • 应用CSV方式和HDF方式实现文件的读取和存储
  • 应用
    • 实现股票数据的读取存储

我们的数据大部分存在于文件当中，所以pandas会支持复杂的IO操作，pandas的API支持众多的文件格式，如CSV、SQL、XLS、JSON、HDF5。

注：最常用的HDF5和CSV文件

在这里插入图片描述

1 CSV

1.1 read_csv

  • pandas.read_csv(filepath_or_buffer, sep =’,’ )
    • filepath_or_buffer:文件路径
    • usecols:指定读取的列名，列表形式

读取之前的股票的数据

# 读取文件,并且指定只获取'open', 'close'指标
data = pd.read_csv("./data/stock_day.csv", usecols=['open', 'close'])

            open    high    close
2018-02-27    23.53    25.88    24.16
2018-02-26    22.80    23.78    23.53
2018-02-23    22.88    23.37    22.82
2018-02-22    22.25    22.76    22.28
2018-02-14    21.49    21.99    21.92

1.2 to_csv

  • DataFrame.to_csv(path_or_buf=None, sep=’, ’, columns=None, header=True, index=True, mode=‘w’, encoding=None)
    • path_or_buf :string or file handle, default None
    • sep :character, default ‘,’
    • columns :sequence, optional
    • mode:‘w’：重写, ‘a’ 追加
    • index:是否写进行索引
    • header :boolean or list of string, default True,是否写进列索引值

1.3 案例

  • 保存’open’列的数据
# 选取10行数据保存,便于观察数据
data[:10].to_csv("./data/test.csv", columns=['open'])
  • 读取，查看结果
pd.read_csv("./data/test.csv")

     Unnamed: 0    open
0    2018-02-27    23.53
1    2018-02-26    22.80
2    2018-02-23    22.88
3    2018-02-22    22.25
4    2018-02-14    21.49
5    2018-02-13    21.40
6    2018-02-12    20.70
7    2018-02-09    21.20
8    2018-02-08    21.79
9    2018-02-07    22.69

会发现将索引存入到文件当中，变成单独的一列数据。如果需要删除，可以指定index参数,删除原来的文件，重新保存一次。

# index:存储不会讲索引值变成一列数据
data[:10].to_csv("./data/test.csv", columns=['open'], index=False)

2 HDF5

2.1 read_hdf与to_hdf

HDF5文件的读取和存储需要指定一个键，值为要存储的DataFrame

  • pandas.read_hdf(path_or_buf，key =None，** kwargs)

    从h5文件当中读取数据

    • path_or_buffer:文件路径
    • key:读取的键
    • return:Theselected object

  • DataFrame.to_hdf(path_or_buf, key, **kwargs)

2.2 案例

  • 读取文件
day_eps_ttm = pd.read_hdf("./data/stock_data/day/day_eps_ttm.h5")

如果读取的时候出现以下错误

在这里插入图片描述

需要安装安装tables模块避免不能读取HDF5文件

pip install tables

在这里插入图片描述

  • 存储文件
day_eps_ttm.to_hdf("./data/test.h5", key="day_eps_ttm")

再次读取的时候, 需要指定键的名字

new_eps = pd.read_hdf("./data/test.h5", key="day_eps_ttm")

3 JSON

JSON是我们常用的一种数据交换格式，前面在前后端的交互经常用到，也会在存储的时候选择这种格式。所以我们需要知道Pandas如何进行读取和存储JSON格式。

3.1 read_json

  • pandas.read_json(path_or_buf=None, orient=None, typ=‘frame’, lines=False)

    • 将JSON格式准换成默认的Pandas DataFrame格式

    • orient : string,Indication of expected JSON string format.

      • ‘split’ : dict like {index -> [index], columns -> [columns], data -> [values]}

        • split 将索引总结到索引，列名到列名，数据到数据。将三部分都分开了

      • ‘records’ : list like [{column -> value}, … , {column -> value}]

        • records 以columns：values的形式输出

      • ‘index’ : dict like {index -> {column -> value}}

        • index 以index：{columns：values}...的形式输出

      • ‘columns’ : dict like {column -> {index -> value}}

        ,默认该格式

        • colums 以columns:{index:values}的形式输出

      • ‘values’ : just the values array

        • values 直接输出值

    • lines : boolean, default False

      • 按照每行读取json对象

    • typ : default ‘frame’， 指定转换成的对象类型series或者dataframe

    3.2 read_josn 案例

  • 数据介绍

这里使用一个新闻标题讽刺数据集，格式为json。is_sarcastic：1讽刺的，否则为0；headline：新闻报道的标题；article_link：链接到原始新闻文章。存储格式为：

{"article_link": "https://www.huffingtonpost.com/entry/versace-black-code_us_5861fbefe4b0de3a08f600d5", "headline": "former versace store clerk sues over secret 'black code' for minority shoppers", "is_sarcastic": 0}
{"article_link": "https://www.huffingtonpost.com/entry/roseanne-revival-review_us_5ab3a497e4b054d118e04365", "headline": "the 'roseanne' revival catches up to our thorny political mood, for better and worse", "is_sarcastic": 0}
  • 读取

orient指定存储的json格式，lines指定按照行去变成一个样本

json_read = pd.read_json("./data/Sarcasm_Headlines_Dataset.json", orient="records", lines=True)

结果为：

在这里插入图片描述

3.3 to_json

  • DataFrame.to_json(

    path_or_buf=None

    ,

    orient=None

    ,

    lines=False

    )

    • 将Pandas 对象存储为json格式
    • path_or_buf=None：文件地址
    • orient:存储的json形式，{‘split’,’records’,’index’,’columns’,’values’}
    • lines:一个对象存储为一行

3.4 案例

  • 存储文件
json_read.to_json("./data/test.json", orient='records')

结果

[{"article_link":"https:\/\/www.huffingtonpost.com\/entry\/versace-black-code_us_5861fbefe4b0de3a08f600d5","headline":"former versace store clerk sues over secret 'black code' for minority shoppers","is_sarcastic":0},{"article_link":"https:\/\/www.huffingtonpost.com\/entry\/roseanne-revival-review_us_5ab3a497e4b054d118e04365","headline":"the 'roseanne' revival catches up to our thorny political mood, for better and worse","is_sarcastic":0},{"article_link":"https:\/\/local.theonion.com\/mom-starting-to-fear-son-s-web-series-closest-thing-she-1819576697","headline":"mom starting to fear son's web series closest thing she will have to grandchild","is_sarcastic":1},{"article_link":"https:\/\/politics.theonion.com\/boehner-just-wants-wife-to-listen-not-come-up-with-alt-1819574302","headline":"boehner just wants wife to listen, not come up with alternative debt-reduction ideas","is_sarcastic":1},{"article_link":"https:\/\/www.huffingtonpost.com\/entry\/jk-rowling-wishes-snape-happy-birthday_us_569117c4e4b0cad15e64fdcb","headline":"j.k. rowling wishes snape happy birthday in the most magical way","is_sarcastic":0},{"article_link":"https:\/\/www.huffingtonpost.com\/entry\/advancing-the-worlds-women_b_6810038.html","headline":"advancing the world's women","is_sarcastic":0},....]
  • 修改lines参数为True
json_read.to_json("./data/test.json", orient='records', lines=True)

结果

{"article_link":"https:\/\/www.huffingtonpost.com\/entry\/versace-black-code_us_5861fbefe4b0de3a08f600d5","headline":"former versace store clerk sues over secret 'black code' for minority shoppers","is_sarcastic":0}
{"article_link":"https:\/\/www.huffingtonpost.com\/entry\/roseanne-revival-review_us_5ab3a497e4b054d118e04365","headline":"the 'roseanne' revival catches up to our thorny political mood, for better and worse","is_sarcastic":0}
{"article_link":"https:\/\/local.theonion.com\/mom-starting-to-fear-son-s-web-series-closest-thing-she-1819576697","headline":"mom starting to fear son's web series closest thing she will have to grandchild","is_sarcastic":1}
{"article_link":"https:\/\/politics.theonion.com\/boehner-just-wants-wife-to-listen-not-come-up-with-alt-1819574302","headline":"boehner just wants wife to listen, not come up with alternative debt-reduction ideas","is_sarcastic":1}
{"article_link":"https:\/\/www.huffingtonpost.com\/entry\/jk-rowling-wishes-snape-happy-birthday_us_569117c4e4b0cad15e64fdcb","headline":"j.k. rowling wishes snape happy birthday in the most magical way","is_sarcastic":0}...

4 拓展

优先选择使用HDF5文件存储

  • HDF5在存储的时候支持压缩，使用的方式是blosc，这个是速度最快的也是pandas默认支持的
  • 使用压缩可以提磁盘利用率，节省空间
  • HDF5还是跨平台的，可以轻松迁移到hadoop 上面

5 小结

  • pandas的CSV、HDF5、JSON文件的读取

二.案例实现

1 csv

import pandas as pd

In [4]:

data = pd.read_csv("./data/stock_day.csv", usecols=["open", "high"])

In [5]:

data.head()

Out[5]:

openhigh
2018-02-2723.5325.88
2018-02-2622.8023.78
2018-02-2322.8823.37
2018-02-2222.2522.76
2018-02-1421.4921.99

In [8]:

data[:10].to_csv("./data/test_py38.csv", columns=["open"], index=False)

2 hdf5

In [9]:

data= pd.read_hdf("./data/stock_data/day/day_close.h5")

In [11]:

data.head()

Out[11]:

000001.SZ000002.SZ000004.SZ000005.SZ000006.SZ000007.SZ000008.SZ000009.SZ000010.SZ000011.SZ…001965.SZ603283.SH002920.SZ002921.SZ300684.SZ002922.SZ300735.SZ603329.SH603655.SH603080.SH
016.3017.714.582.8814.602.624.964.665.376.02…NaNNaNNaNNaNNaNNaNNaNNaNNaNNaN
117.0219.204.653.0215.972.654.954.705.376.27…NaNNaNNaNNaNNaNNaNNaNNaNNaNNaN
217.0217.284.563.0614.372.634.824.475.375.96…NaNNaNNaNNaNNaNNaNNaNNaNNaNNaN
316.1816.974.492.9513.102.734.894.335.375.77…NaNNaNNaNNaNNaNNaNNaNNaNNaNNaN
416.9517.194.552.9913.182.774.974.425.375.92…NaNNaNNaNNaNNaNNaNNaNNaNNaNNaN

5 rows × 3562 columns

In [13]:

test_data = data.to_hdf("./data/test_py38.h5", key="close")

In [15]:

pd.read_hdf("./data/test_py38.h5", key="close").head()

Out[15]:

000001.SZ000002.SZ000004.SZ000005.SZ000006.SZ000007.SZ000008.SZ000009.SZ000010.SZ000011.SZ…001965.SZ603283.SH002920.SZ002921.SZ300684.SZ002922.SZ300735.SZ603329.SH603655.SH603080.SH
016.3017.714.582.8814.602.624.964.665.376.02…NaNNaNNaNNaNNaNNaNNaNNaNNaNNaN
117.0219.204.653.0215.972.654.954.705.376.27…NaNNaNNaNNaNNaNNaNNaNNaNNaNNaN
217.0217.284.563.0614.372.634.824.475.375.96…NaNNaNNaNNaNNaNNaNNaNNaNNaNNaN
316.1816.974.492.9513.102.734.894.335.375.77…NaNNaNNaNNaNNaNNaNNaNNaNNaNNaN
416.9517.194.552.9913.182.774.974.425.375.92…NaNNaNNaNNaNNaNNaNNaNNaNNaNNaN

5 rows × 3562 columns

3 json

In [17]:

data = pd.read_json("./data/Sarcasm_Headlines_Dataset.json", orient="records", lines=True)

In [19]:

data.head()

Out[19]:

article_linkheadlineis_sarcastic
0https://www.huffingtonpost.com/entry/versace-b…former versace store clerk sues over secret 'b…0
1https://www.huffingtonpost.com/entry/roseanne-…the ‘roseanne’ revival catches up to our thorn…0
2https://local.theonion.com/mom-starting-to-fea…mom starting to fear son’s web series closest …1
3https://politics.theonion.com/boehner-just-wan…boehner just wants wife to listen, not come up…1
4https://www.huffingtonpost.com/entry/jk-rowlin…j.k. rowling wishes snape happy birthday in th…0

In [21]:

data.to_json("./data/test_py38.json", orient="records", lines=True)
那就叫老王吧
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
stock_day.csv
07-09
pandas基本操作stock_day.csv
文件读取与存储
weixin_30553837的博客
09-08 220
pandas的API支持众多的文件格式，如CSV、SQL、XLS、JSON、HDF5。 CSV pandas.read_csv(filepath_or_buffer, sep =',' ) filepath_or_buffer:文件路径 usecols:指定读取的列名，列表形式 sep-分割字符 默认',' # 读取文件,并且指定只获取'open', 'close'指标 dat...
chatgpt赋能python：Python如何保存数据到CSV文件中
weixin_45566993的博客
06-10 3043
CSV是“逗号分隔值”（Comma-Separated Values）的缩写，是一种常见的电子表格文件格式。它是一种文本文件，其中的每一行都代表了一个数据记录，每个字段之间用逗号分隔。CSV文件可以用于导入和导出到许多不同的软件应用程序和数据库中。本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型，只是展现它原本的实力。对于颠覆工作方式的ChatGPT，应该选择拥抱而不是抗拒，未来属于“会用”AI的人。
python中pandas读取文件用法
O_nice的博客
08-13 1万+
python中pandas读取文件用法 1、pandas读取xlsx、xls文件 格式： import pandas as pd data = pd.read_excel('path', sheetname = 'sheet1', header = 0, names = ['第一列','第二列','第三列']) path：要读取的文件绝对路径 sheetname：指定读取excel中哪一个工作表，默认sheetname = 0，即默认读取excel中的第一个工作表 若sheetname = ‘sheet
数据分析之Pandas（六）文件读取与存储
提莫君的博客
03-18 3062
文件读取与存储 我们的数据大部分存在于文件当中，所以pandas会支持复杂的IO操作，pandas的API支持众多的文件格式，如CSV、SQL、XLS、JSON、HDF5。 注：最常用的HDF5和CSV文件 文件读取与存储 CSV读取与存储 pd.read_csv() usecols参数用于选择部分列，而不是全部 pd.to_csv() columns用于选择需要写出的列 head...
3.文件读取和存储.ipynb
07-09
pandas文件读取和存储
Python读取Excel数据：使用pandas和openpyxl.pdf
最新发布
05-17
python读取excel数据
机器学习numpy和pandas基础,numpy和pandas学哪个,Python
09-10
numpy和pandas案例实例，基础教学
3-Python数据分析——pandas3.ipynb
12-15
3-Python数据分析——pandas3.ipynb
pandas 读取各种格式文件的方法
09-20
今天小编就为大家分享一篇pandas 读取各种格式文件的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
pandas基本数据操作
IT之一小佬的博客
02-19 514
pandas基本数据操作 为了更好的理解这些基本操作，我们将读取一个真实的股票数据。关于文件操作，后面在介绍，这里只先用一下API # 读取文件 data = pd.read_csv("./data/stock_day.csv") # 删除一些列，让数据更简单些，再去做后面的操作 data = data.drop(["ma5","ma10","ma20","v_ma5","v_ma10","v_ma20"], axis=1) 1 索引操作 Numpy当中我们已经知道使用索引选取序.
数据分析之Pandas（三）基本数据操作
提莫君的博客
03-18 873
本章内容 索引操作 赋值操作 排序 DataFrame Series 数据准备 首先，为了更好的理解这些基本操作，我们将读取一个真实的股票数据。关于文件操作，后面在介绍，这里只先用一下API stock_day.csv文件下载链接： 链接：https://pan.baidu.com/s/1P8dfFl5FF64yfm1i6GGTuw 提取码：wbcs #导入pandas模块 import p...
Pandas_文件读_文件写_其他格式文件读写
火锅午餐肉的博客
07-09 574
文件读 read_excel ： 从EXCEL的XLS或者XLSX文件中读取数据 read_hdf ： 读取用pandas存储的HDF5文件 read_html ： 从HTML文件中读取所有表格数据 read_json ： 从JSON字符串中读取数据 read_sas ： 读取SAS系统中定制存储格式的数据集 read_sql ： 将SQL查询的结果读取出来 read_stata ： 读取stat...
Python3快速入门（十四）——Pandas数据读取
cdqvkn73338的博客
09-05 900
Python3快速入门（十四）——Pandas数据读取 一、DataFrame IO 1、CSV文件 pandas.read_csv(filepath_or_buffer, na_values='NAN', parse_dates=['Last Update'])从CSV文件中读取数据并创建一个DataFrame对象，na_vlaues用于设置缺失值形式，parse_dates用于将指定的列解析成...
pandas写入读取h5文件
热门推荐
hzau_yang的博客
11-09 2万+
1.引言hdf5在存储的是支持压缩，使用的方式是blosc，这个是速度最快的也是pandas默认支持的。 使用压缩可以提磁盘利用率，节省空间。 开启压缩也没有什么劣势，只会慢一点点。 压缩在小数据量的时候优势不明显，数据量大了才有优势。 同时发现hdf读取文件的时候只能是一次写，写的时候可以append，可以put，但是写完成了之后关闭文件，就不能再写了， 会覆盖。2.写入文件使
pd.read_hdf报错 ImportError: Missing optional dependency ‘tables‘. Use pip or conda to install tables.
qq_42179915的博客
03-23 5627
pd.read_hdf()报错 ImportError: Missing optional dependency 'tables'. Use pip or conda to install tables.
pandas - 文件读取与存储
apollo_miracle的博客
03-11 1408
学习目标 了解Pandas的几种文件读取存储操作 应用CSV方式和HDF方式实现文件的读取和存储 应用：实现股票数据的读取存储 我们的数据大部分存在于文件当中，所以pandas会支持复杂的IO操作，pandas的API支持众多的文件格式，如CSV、SQL、XLS、JSON、HDF5。 注：最常用的HDF5和CSV文件 1 数据读取存储API 1.1 read_csv与to_cs...
pandas读取csv文件读取2到3列数据
03-24
可以使用pandas库中的read_csv()函数读取csv文件，并利用usecols参数指定读取2到3列的数据。代码示例如下： import pandas as pd # 读取csv文件并读取2到3列的数据 data = pd.read_csv('file.csv', usecols=[1,2])...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值