python常用的数据集处理方法

加载csv数据集

df= pd.read_csv('data/train.csv')#读取到的数据类型为DataFrame

DataFrame通过行、列索引，获取指定位置的值

print('查看df行索引:', df.index)
print('查看df列索引:', df.columns)
print('输出按数字索引所取的值:', df.iat[1,1])#第二行，第二列的数据
print('输出按索引名称所取的值:', name =df.at['行名','列名'])
print('输出df的行数:',len(df.values))

pandas利用replace进行全部替换

#搜索整个DataFrame, 并将所有符合条件的元素全部替换。操作之后，其实原DataFrame是并没有改变的。改变的只是一个复制品。
df.replace('原值', '替换值')
#如果需要改变原数据，需要添加常用参数 inplace=True
df.replace('原值', '替换值', inplace=True)

pandas利用replace通过选择筛选后进行替换

#替换指定列的数据
df['列名'].replace('原值', '替换值', inplace=True)
#可以用字典形式替换多个值
df.replace({'原值1':'替换值1', '原值2':'替换值2'})
df.replace(['原值1', '原值2'], ['替换值1', '替换值2'])
df['列名'].replace({'原值1':'替换值1', '原值2':'替换值2'}, inplace=True)

数据集中的缺失值处理

#检查缺失值
print(df.isnull().sum())
#删除缺失值
df=df.dropna()

数据集的拆分

train_arr=np.array(train) #转换为数组
X_train=np.delete(train_arr,12,axis=1)#删除第十三列
i_=[0,1,2,3,4,5,6,7,8,9,10,11]
y_train=np.delete(train_arr,i_,axis=1)#删除前12列

dataframe和np.array的相互转换

import numpy as np
import pandas as pd
train=np.array(train) #转换为数组
y_train = pd.DataFrame(y_train)#转换为dataframe
#查看数据类型
print(type(y_train))

在pandas中给dataframe添加一列

df['添加的列名'] = 加入的数据
df.to_csv(路径/filename.csv,index=None)