代码收藏2

# 判断及删除重复数据

isDuplicated = df.duplicated() # 判断重复数据记录
new_df2 = df.drop_duplicates(['col1']) # 删除数据记录中col1值相同的记录
new_df3 = df.drop_duplicates(['col2']) # 删除数据记录中col2值相同的记录
new_df4 = df.drop_duplicates(['col1', 'col2']) # 删除数据记录中指定列（col1/col2）值相同的记录

·使用Pandas的isnull（）判断值是否为空；
·使用all（）和any（）判断每列是否包含至少1个为True或全部为True的情况；
·使用Pandas的dropna（）直接删除缺失值；
·使用Sklearn.preprocessing中的Imputer方法对缺失值进行填充和替换，支持3种填充方法；
·使用Pandas的fillna填充缺失值，支持更多自定义的值和常用预定义方法；
·通过copy（）获得一个对象副本，常用于原始对象和复制对象同时进行操作的场景；
·通过for循环遍历可迭代的列表值；

 

 

Python标志转换:

将非数值型数据转换为数值型数据的最佳方法是：将所有分类或顺序变量的值域从一列多值的形态转换为多列只包含真值的形态，其中的真值可通过True、False或0、1的方式来表示。这种标志转换的方法有时候也称为真值转换。

import pandas as pd # 导入pandas库
from sklearn.preprocessing import OneHotEncoder # 导入OneHotEncoder库
# 生成数据
df = pd.DataFrame({'id': [3566841, 6541227, 3512441],'sex': ['male', 'Female', 'Female'],'level': ['high', 'low', 'middle']})
print (df) # 打印输出原始数据框



# 自定义转换主过程
df_new = df.copy() # 复制一份新的数据框用来存储转换结果
for col_num, col_name in enumerate(df): # 循环读出每个列的索引值和列名
    col_data = df[col_name] # 获得每列数据
    col_dtype = col_data.dtype # 获得每列dtype类型
     if col_dtype == 'object': # 如果dtype类型是object（非数值型），执行条件
        df_new = df_new.drop(col_name, 1) # 删除df数据框中要进行标志转换的列
        value_sets = col_data.unique() # 获取分类和顺序变量的唯一值域
        for value_unique in value_sets: # 读取分类和顺序变量中的每个值
            col_name_new = col_name + '_' + value_unique # 创建新的列名，使用“原标题+值”的方式命名
            col_tmp = df.iloc[:, col_num] # 获取原始数据列
            new_col = (col_tmp == value_unique) # 将原始数据列与每个值进行比较，相同为True，否则为False
            df_new[col_name_new] = new_col # 为最终结果集增加新列值
print (df_new) # 打印输出转换后的数据框



# 使用sklearn进行标志转换
df2 = pd.DataFrame({'id': [3566841, 6541227, 3512441],'sex': [1, 2, 2],'level': [3, 1, 2]})
id_data = df2.values[:, :1] # 获得ID列
transform_data = df2.values[:, 1:] # 指定要转换的列
enc = OneHotEncoder() # 建立模型对象
df2_new = enc.fit_transform(transform_data).toarray() # 标志转换
df2_all = pd.concat((pd.DataFrame(id_data), pd.DataFrame(df2_new)), axis=1) # 组
合为数据框
print (df2_all) # 打印输出转换后的数据框