Python：数据写入读取和处理

前言

对于数据的处理很杂，所以在这里整理了一下

数据的写入读取

在做数据分析的时候，Excel是我们最常用的工具，但是当数据量比较大的时，Excel光把数据文件打开就要很久很久，那么利用Pandas就会非常高效。
我们先来看看CSV的写入

1.CSV数据写入

csv是最为常见的以纯文本文件存储数据文件的格式，它的优点是通用性很强，不受操作系统以及具体的软件的限制。我们以写入csv为例，看一下pandas是如何是将数据写入csv文件中。

from pandas import Series,DataFrame
# 使用字典创建
index_list = ['001','002','003','004','005','006','007','008']
name_list = ['李白','王昭君','诸葛亮','狄仁杰','孙尚香','妲己','周瑜','张飞']
age_list = [25,28,27,25,30,29,25,32]
salary_list = ['10k','12.5k','20k','14k','12k','17k','18k','21k']
marital_list = ['NO','NO','YES','YES','NO','NO','NO','YES']
dic={
    '姓名': Series(data=name_list,index=index_list),
    '年龄': Series(data=age_list,index=index_list),
    '薪资': Series(data=salary_list,index=index_list),
    '婚姻状况': Series(data=marital_list,index=index_list)
    }
df=DataFrame(dic) 
print(df)
# 写入csv，path_or_buf为写入文本文件
df.to_csv(path_or_buf='./People_Information.csv', encoding='utf_8_sig')
# index = False,就可以不储存DataFrame的行索引信息
print('end')

✨运行效果

      姓名  年龄     薪资 婚姻状况
001   李白  25    10k   NO
002  王昭君  28  12.5k   NO
003  诸葛亮  27    20k  YES
004  狄仁杰  25    14k  YES
005  孙尚香  30    12k   NO
006   妲己  29    17k   NO
007   周瑜  25    18k   NO
008   张飞  32    21k  YES
end

在上面的代码里，我们创建了一个DataFrame，接着通过to_csv()方法将DataFrame保存为csv文件。
从结果中可以发现，to_csv()保存数据时，df的行索引作为一列被输出到csv文件中。

如何在保存csv文件的时候，不存储DataFrame的行索引信息呢，我们看下面的解决方法。

df.to_csv(path_or_buf='路径',index=False,encoding='utf_8_sig')

在to_csv方法中将参数index设置为False就可以不存储DataFrame的行索引信息。

还有如何避免乱码呢，在encoding参数设置“utf_8_sig”后乱码就会消失。

2.CSV数据的读取

数据的存储我们发现很简单，调用to_csv()后设置文件存储路径后就可以了。将自己保存的文件路径放进去就行了

import pandas as pd
df = pd.read_csv('D:\jupy\People_Information.csv',header=0)
# read_csv()默认会将文件中的第一行作为数据的列索引。
# 可以将header设置为None，列索引值会使用默认的1、2、3、4
print(df)
print(df.shape)

   Unnamed: 0   姓名  年龄     薪资 婚姻状况
0           1   李白  25    10k   NO
1           2  王昭君  28  12.5k   NO
2           3  诸葛亮  27    20k  YES
3           4  狄仁杰  25    14k  YES
4           5  孙尚香  30    12k   NO
5           6   妲己  29    17k   NO
6           7   周瑜  25    18k   NO
7           8   张飞  32    21k  YES
8           9  王昭君  28    22k   NO
9          10   大乔  26  21.5k  YES
(10, 5)

从图中可以看出来，还可以看出，read_csv()默认会将文件中的第一行作为数据的列索引。

如果第一行不是我们要的索引值，那咋办哪呢？当然这个问题，是有解决方法的，read_csv()的header参数默认是0，取第一行的值，可以根据具体的要求设置header的值来确定列索引。

import pandas as pd
people = pd.read_csv('路径',header = 1)
print(people.head())

3.Excel数据的读取

Excel文件的读取和csv的读取方式相似，read_csv()读取csv文件，read_excel()读取Excel文件。

import pandas as pd
sheet = pd.read_excel('路径.xlsx')
print(sheet.head())

但是还是有差别的，一个Excel文件可以创建多个表，然后在不同的表中存储不同数据，这种形式的文件很常见。但是要注意csv文件不存在多个sheet的问题。

import pandas as pd
sheet1 = pd.read_excel('路径.xlsx',sheet_name='sheet1')
print(sheet1.head())

sheet2 = pd.read_excel('路径.xlsx',sheet_name='sheet2')
print(sheet2.head())
# to_csv()会比to_excel()少一个sheet_name的参数

在上面的代码里，我们引入了带有两个表的sheet.xlsx的Excel文件，两个表名分别为’sheet1’，‘sheet2’，然后我们通过指定sheet_name的值，获取不同表中的数据。

数据的处理

在我们有能力去保存数据后，在日常工作中，肯定会有不需要的数据，也就是需要进行特殊处理的数据，这时候我们就需要具备进行数据处理的能力了

1.删除数据

在NumPy模块中提供了nan的值，如果你想要创建一个空值，可以使用下方代码：

from numpy import nan as NaN

而且需要注意的是，NaN比较特殊点就是其本身是一种float类型数据。

✨运行效果

当数据中出现了我们需要删除的数据时，比如：NaN,那NaN表示的是什么数据呢？
如果文件的单元格中没有值时，在使用pandas读取后就会用NaN表示，也就是我们常说的空值。

对于大批量的Series数据，使用肉眼很难判断空值的存在，这时我们可以先对空值进行过滤。

from numpy import nan as NaN
import pandas as pd
se=pd.Series([4,NaN,8,NaN,5])
print(se.notnull())
print(se[se.notnull()])
print(se)

✨运行效果

通过结果我们发现，结果中依然存在空值，并没有过滤掉空值。
所以在DataFrame类型数据中，一般我们会将存在NaN的数据使用dropna()方法全部删掉：

df1 = df.dropna()

from numpy import nan as NaN
import pandas as pd

df_dict = {
	'name':['ZhangSan','LiSi','WangWu','ZhaoLiu'],
	'age':['18','20',NaN,'22'],
	'weight':['50',NaN,'60','80']
}
df = pd.DataFrame(data=df_dict,index=['001','002','003','004'])
print(df)
df1 = df.dropna()
print(df1)

dropna()是删除空值数据的方法，默认将只要含有NaN的整行数据删掉，如果想要删除整行都是空值的数据需要添加how='all’参数。

✨运行效果

如果想要对列做删除操作，需要添加axis参数，axis=1表示列，axis=0表示行。
我们也可以使用thresh参数筛选想要删除的数据，thresh=n保留至少有n个非NaN数据的行。大家可以自信心尝试

DataFrame.drop(labels=None,axis=0, index=None, columns=None, inplace=False)

代码解释：

axis=0列，=1为行 labels ：就是要删除的行列的名字，用列表给定。 index： 直接指定要删除的行。
columns： 直接指定要删除的列。
inplace=False：默认该删除操作不改变原数据，而是返回一个执行删除操作后的新dataframe。
inplace=True：则会直接在原数据上进行删除操作，删除后无法返回。

所以，根据参数我们可以总结出，删除行列有两种方式：

1.labels=None,axis=0 的组合

2.index或columns直接指定要删除的行或列

2.空值的处理

对于空值我们可以将整条数据删除，也可以使用fillna()方法对空值进行填充。

df.fillna(value=None, method=None, axis=None, inplace=False, limit=None, downcast=None, **kwargs)

注意：method参数不能与value参数同时出现。

import pandas as pd
df = pd.read_excel('date.xlsx')# 用常数填充fillna# 
print(df.fillna(0))# 用一列的平均值填充# 
print(df.fillna(df.mean())# 用前面的值来填ffillna
print(df.fillna(method='ffill', axis=0))

3.重复数据的处理

重复数据的存在有时不仅会降低分析的准确度，也会降低分析的效率。所以我们在整理数据的时候应该将重复的数据删除掉。
利用duplicated()函数可以返回每一行判断是否重复的结果（重复则为True)。

import pandas as pd

df_dict = {
	'name':['ZhangSan','LiSi','WangWu','ZhaoLiu'],
	'age':['18','20','19','22'],
	'weight':['50','55','60','80']
}
print(df)
df = pd.DataFrame(data=df_dict,index=['001','002','003','004'])
print(df.duplicated())

✨运行效果

通过结果我们发现，返回的是一个值为Bool类型的Series，如果当前行所有列的数据与前面的数据是重复的就返回True；反之，则返回False。

删除的话，可以使用drop_duplicates()函数将重复的数据行进行删除

df.drop_duplicates()

我们也可以只可以通过判断某一列的重复数据，然后进行删除。

df.drop_duplicates(['Name'],inplace=False)

其中[‘Name’]表示对比Name例数据是否有重复，inplace用来控制是否直接对原始数据进行修改。

import pandas as pd

df_dict = {
	'name':['ZhangSan','LiSi','LiSi','ZhaoLiu'],
	'age':['18','20','19','22'],
	'weight':['50','55','60','80']
}
print(df)
df = pd.DataFrame(data=df_dict,index=['001','002','003','004'])
df1=df.drop_duplicates(['name'],inplace=False)
print(df1)

✨运行效果

有问题可加qq2024810652。