数据清洗
-
数据缺失和处理
查看缺失:info(),isnull().sum()
处理:df[‘Age’]=df[‘Age’].fillna(0) -
重复值处理
查看重复:duplicated()
去除重复项:drop_duplicates() -
特征处理
分为数值型和文本型特征
处理:数值型特征进行离散化,文本型则转为数值型处理
离散化:cut(),qcut()
查看文本变量名及种类:value_counts(),unique(),nunique()
文本转数值:replace(),map(),使用sklearn.preprocessing的LabelEncoder
提取特征文本:extract(正则)