数据分析基础之《pandas（5）—文件读取与存储》

一、概述

1、我们的数据大部分存在于文件当中，所以pandas会支持复杂的IO操作，pandas的API支持众多文件格式，如CSV、SQL、XLS、JSON、HDF5

二、CSV

1、读取csv文件
read_csv(filepath_or_buffer, sep=',', delimiter=None)
说明：
filepath_or_buffer：文件路径
usecols：如果一个数据集中有很多列，但是我们在读取的时候只想要使用到的列，我们就可以使用这个参数

# 读取文件，并且指定读取open，high，close列
data = pd.read_csv("./stock_day.csv", usecols=['open','high','close'])

data

2、如果CSV文件直接是数据，没有字段
默认将第一行作为字段，需要加上names参数

3、写入csv文件
to_csv(path_or_buf=None, sep=',', columns=None, header=True, index=True, index_label=None, mode='w', encoding=None)
说明：
path_or_buf：写入的路径
sep：分隔符
columns：列的标题
mode：w重写，a追加
index：是否写进，行索引值
header：是否写进，列索引值

# 保存open列数据
data[:10].to_csv('./test.csv', columns=['open'])

# 读取、查看结果
pd.read_csv('./test.csv')

会发现将索引写入到文件当中，变成单独的一列数据。如果需要删除，可以指定index参数，删除原来的文件，重新保存一次

# 保存open列数据
data[:10].to_csv('./test.csv', columns=['open'], index=False)

# 读取、查看结果
pd.read_csv('./test.csv')

三、HDF5

1、HDF5文件的读取和存储需要指定一个键，值为要存储的DataFrame
所以hdf5格式可以认为是存储3维数据的文件
key1 dataframe1二维数据
key2 dataframe2二维数据

2、读取hdf5文件
read_hdf5(path_or_buf, key=None, **kwargs)
说明：
path_or_buf：文件路径
key：读取的键
mode：打开文件的模式

3、写入hdf5文件
to_hdf5(path_or_buf, key, **kwargs)

四、JSON

1、读取json文件
将JSON格式转换成默认的DataFrame格式
read_json(path_or_buf=None, orient=None, typ='frame', lines=False)
说明：
path_or_buf：文件路径
orient：指定json字符串的格式（一般用records）
    split：{index -> [index], columns -> [columns], data -> [data]}
    records：[{column -> value}, ..., {column -> value}]
    index：{index -> {column -> value}}
    columns：{column -> {index -> value}}
    values：just the values array
lines：按照每行读取json对象
typ：指定转换成的对象类型series或者dataframe

# 读取JSON
sa = pd.read_json('./Sarcasm_Headlines_Dataset.json', orient='records', lines=True)

sa

文件下载地址：https://www.kaggle.com/datasets/rmisra/news-headlines-dataset-for-sarcasm-detection

2、写入json文件
to_json(path_or_buf=None, orient=None, lines=False)
说明：
path_or_buf：文件地址
orient：存储的json形式，{'split','records','index','columns','values'}
lines：一个对象存储为一行，如果False所有对象都写在一个[]中

# 写入JSON
sa.to_json('test.json', orient='records', lines=True)

五、拓展

1、数据量很大优先选择用HDF5文件存储
（1）HDF5在存储的是支持压缩，使用的方式是blosc，这个是速度最快的，也是pandas默认支持的
（2）使用压缩可以提高磁盘利用率，节省空间
（3）HDF5还是跨平台的，可以轻松迁移到hadoop上面

六、小结
pandas基础数据处理
    pandas介绍
        什么是pandas：数据处理工具
        为什么使用pandas
            便捷的数据处理能力
            集成了numpy,matplotlib
            读取文件方便
        三大核心数据结构
            series：带索引的一维数组
                属性
                    index
                    values
            dataframe：带索引的二维数组
                属性
                    shape
                    index
                    columns
                    values
                    T
                常用方法
                    head()
                    tail()
                索引设置
                    修改行列索引
                    重设索引
                    设置索引
            panel：废弃
    基本操作
        索引操作
            直接索引：必须先列后行
            .loc：按名字进行索引
            .iloc：按数字进行索引
            .ix：组合索引（废弃）
        赋值操作
        排序
            按内容排序：sort_values()
            按索引排序：sort_index()
    运算
        算术运算
        逻辑运算
            逻辑运算符 & 布尔索引
            函数
                query()
                isIn()
        统计运算
            获取综合的统计指标
            具体的统计指标
            累计统计指标
        自定义运算-df.apply(func,axis=)
    画图
        df.plot()
        sr.plot()
    IO操作
        csv
            pd.read_csv()
                usecols
                names
            df、sr.to_csv()
                columns
                index
                header
                mode
        hdf5
            有键
        json
            pd.read_json()
                path
                records
                lines
            df.to_json()
                records
                lines