pandas常用数据预处理方法

数据样式

python代码

df = pd.read_csv('../dataset/ai_risk_train/train_auth_info.csv', low_memory=False)
# print(df)

'''查看数据的基本信息'''
print(df.info())

'''整个数据的整体的分布'''
print(df.describe())

'''查看数据集的空值，或者说是缺失值'''
print(df.isnull().sum())

'''查看唯一值 '''
print(df['auth_time'].unique())


print(df.head(3))  # 前3行
print(df.tail(3))    # 后3行


print(df.loc[630])   # 提取索引值为630的那一行  默认0开始
print(df.loc[2])     # 取第三行的数据
print(df.iloc[2:5, :3])  # 取第二,三四行和前3列

print(df[(df['id_card'] <= '5****************9') & (df['phone'] == '135****3522')])
df = df.dropna(how='any')   # 发现df中的空值会全部删掉
df = df.fillna(value=0)   # 用数据0来填充空值

df['name'] = [index for index in range(df.shape[0])]
df['auth_time'] = df['auth_time'].fillna(df['name'].mode())   # 用数据集里面的name众数来填充auth_time的空值

df['name'] = ['aBcD' for index in range(df.shape[0])]
# df['name'] = df['name'].map(str.upper).head(3)  # 只对name属性前三行进行大写转换
df['name'] = df['name'].map(str.__len__).head(3)  # 只对name属性前三行计算字符串长度

'''字符串的快速映射转换'''
df['id'] = df['id'].map({'501951980776722440': '一等舱', '525890212484616200': '二等舱', '599309364691472392': '三等舱'})

'''转换数据类型 int->float64'''
df['name'] = [index for index in range(df.shape[0])]
print(df.dtypes)
df['name'] = df['name'].astype('float64')
print(df.dtypes)

'''更改列的名字'''
df = df.rename(columns={'id': '是否获救'})
print(df)

'''数据的代替,替换'''
df['name'] = ['aBcD' for index in range(df.shape[0])]
df['name'] = df['name'].replace('aBcD', 'ABCD')
print(df.head(3))

由于时间关系，这里就不贴运行结果的图了，这个数据集是马上消费金融风险预测的数据

参考资料