Pandas常用操作记录（更新中）

注意：本篇文章只设计相关操作函数，不会细讲函数参数作用，找到对应函数，可以在pandas的doc文件查看详细的参数说明。附上链接pandas文档

1.读取文件

import pandas as pd
df =  pd.read_csv('路径')
#pd.read_文件格式('路径')

2.读取某列某行，并使用map替换

2.1 直接读取某列数据

        在获取到df对象后，可以使用 df.列名  来获取该列数据，

import pandas as pd
df = pd.read_csv(r'data/winequality-red.csv')
print(df.quality)
#print(df.loc[:,'quality'])  #这是使用loc函数的方式

2.2使用loc函数读取

当然，我们可以更加优雅一点，使用loc函数来进行行、列、区域的数据的获取。

loc方法是通过行、列的名称或者标签来寻找我们需要的值。

2.2.1读取某行所有数据（检索是行数，注意这里的行数是行序列号，从0开始）

#获取第一行的所有数据
print(df.loc[1,:])

2.2.2读取某列全部数据（检索是列名）

#获取quality一列的全部数据
print(df.loc[:,'quality'] )

2.2.3读取某列的部分行数据（注意这里的行数是行序列号，从0开始）

#获取quality一列的2-5行的数据，注意，这是一个闭区间
df.loc[2:5,'quality']

2.2.4读取某区块的数据

#获取从'sulphates'到'quality'列2-5行的数据
print(df.loc[2:5,'sulphates':'quality'])

2.3使用iloc函数进行读取

iloc方法是通过索引行、列的索引位置[index, columns]来寻找值

具体方法类似loc函数，这里简单展示（注意此处索引都是从0开始计算）

#获取第二行的数据
print(df.iloc[1])
#读取第三列数据
print(df.iloc[:,2])

3.使用map函数使用字典映射列数据

        在机器学习中，我们往往会需要对csv文件的一些列数据进行独热编码，使用pandas自带的map函数来进行替换也是一种比较简单快速的编码方式。（注意map函数需要自提供映射字典，常用于类别较少的情况）

import pandas as pd
df = pd.read_csv(r'data/winequality-red.csv')
print(df)
quality_map = {
    3:0,
    4:1,
    5:2,
    6:3,
    7:4,
    8:5
}
df.loc[:,'quality'] = df.quality.map(quality_map)
print(df)

函数比较简单：df.map(字典对象)，效果见下图

4.丢弃某行某列（drop）

我们利用drop函数来实现对某行或某列的丢弃

data = pd.concat([train_data,test_data],ignore_index=True)
data.drop(['Name'],axis = 1,inplace=True)
#axis = 1表示丢弃的是列，Name是列名，0表示丢弃的是行，inplace=True表示直接在原有数据上更改

5.统计文件非空数据、空数据

        以kaggle泰坦尼克宇宙飞船数据集为例，输出非空数据统计

5.1统计非空数据

train = pd.read_csv(r'data/train.csv')
print(train.info())

5.2统计空数据

train = pd.read_csv(r'data/train.csv')
total = train.isnull()
print(total)

利用isnull可以将DataFrame中每一格数据按空或非空判定

我们可以再追加sum()函数来进行统计

train = pd.read_csv(r'data/train.csv')
total = train.isnull().sum()
print(total)

依然可以再次追加sort_values()函数来进行排序

train = pd.read_csv(r'data/train.csv')
total = train.isnull().sum().sort_values(ascending=False) #降序
print(total)