pandas文件读取与存储(csv,excel,hdf5,json)

Pandas文件读取与存储

import pandas as pd

csv

1. 读取csv文件read_csv()

pd.read_csv('路径')

路径为必传参数
'''
read_csv还有两个参数
# usecols  当csv文件里面有多个字段(列索引),使用这个字段可以指定只读某些字段,列表格式
用法格式:
	pd.read_csv('路径', usecols=['字段1','字段2'...])

# names  当csv文件里面没有指定的索引时,读的时候可以使用该参数添加字段名
用法格式:
	pd.read_csv('路径', names=['字段A','字段B'...])
'''

2. 存储csv文件to_csv()

dataframe.to_csv('路径保存的文件名.csv')

dataframe表示数据Dataframe对象, Series数据用法一样

• 参数

columns  指定要存入文件的字段
格式:
	dataframe.to_csv('路径.csv', columns=['字段1','字段2'...])
******************************************
index=False  默认为True,设置为false就是不存储行索引
格式: 
	dataframe.to_csv('路径.csv', index=False)
******************************************
mode 选择写入的方式'a','w'
格式: 
	dataframe.to_csv('路径.csv', mode='a')
******************************************
header=False 默认为True, 设置为false就是不存储列索引
格式:
	dataframe.to_csv('路径.csv', header=False)

HDF5

hdf5文件是一个二进制文件, 存放的是三维数据,就是存放dataframe这种二维数据的,所以读取和存储的时候需要指定一个键key,值为要存储的DataFrame

读取read_hdf()

pd.read_hdf('路径',key=None, **kwargs)

***********
key: 读取的键,如果该文件只有一个键,可以不写,否则必须
mode: 打开文件的模式

***********
如果读取失败,可能读取的时候需要tables插件
pip install tables

存储to_hdf()

dataframe.to_hdf('路径.h5',key="必须加")

********
存储的时候必须加上key,否则报错
********

JSON

每条json数据都是以大括号{}包着, 键值对形式存在,以逗号分隔,(如果以records方式读键就是列索引,就是字段)

读取read_json()

pd.read_json('路径', orient="records", lines=True)

******
orient='records' 为读取的一种形式,习惯上是这样写
line=True  按照每行读取json对象,默认是为False

存储to_json()

dataframe.to_json('路径.json', orient="records", lines=True)

存入的时候设置lines=True会把每个json对象进行分行处理