数据清洗常用函数说明

本文介绍了数据清洗的关键步骤,包括缺失值的观察与处理,如删除和填充;重复值的观察与删除;以及特征的观察与处理,如数值型特征的分箱和文本型特征的转换。示例中提到了pandas库在数据处理中的应用。
摘要由CSDN通过智能技术生成


一、缺失值观察与处理

#加载所需的库
import numpy as np
import pandas as pd

#加载数据train.csv
df = pd.read_csv('train.csv')

1. 缺失值观察

df.info()  #按列读取数据的详细信息,包括列名、非空数和数据类型
df.isnull().sum() #按列返回缺失值的总数
df.isna().mean() #按列返回缺失值的比例
df[df.isna().any(1)] #返回至少有一个缺失值的行
					 #isna() 和 isnull()完全相同

2. 缺失值处理

(1)删除

 df.dropna(
        axis=0, #{0:'index', 1:'columns'},默认为0,删除缺失值所在行
       
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值