pandas异常值-离散化-映射转换数据-重命名轴索引-计算虚拟变量

异常值

脏数据也包含不符合要求的数据，那么对这块数据处理不能直接使用fillna填充。使用replace更加灵活。

• df.replace(to_replace=None,value=None)
• to_replace 去替换的值
• value 替换的值

import pandas as pd
import numpy as np

df = pd.DataFrame(np.random.randint(-1,200,size=(4,1)),index=["zs","an","gs","mia"],columns=["age"])
df

# to_replace 旧数据 value 新数据
df.replace(to_replace=143,value=22)

# 一次性替换多个值：传入列表
df.replace(to_replace=[143,56],value=22)

# 一次性替换多个值：传入列表
df.replace(to_replace=[143,56],value=[22,18])

# 也可以通过字典来进行替换
df.replace({143:22,56:20})

处理重复数据

判断重复值
• df.duplicated(subset=None, keep=‘first’) 返回的一个布尔值Series 默认反映的是每一行是否与之前出现过的行相同
• subset 指定子列判断重复
• keep 默认为first保留首个出现的 last保留最后出现的

df2 = pd.DataFrame(
    {
        "age":[18,19,18,22],
        "gender":["male","female"]*2,
        "name":["amy","bob"]*2        
    }
)
df2

"""
df2.duplicated(subset=None,keep="first")
- subset 指定子列判断重复 默认为整行
- keep 默认为first 保留首个出现的  last保留最后出现的
"""
# 判断数据中，是否有完全重复的行
df2.duplicated()     # bool 

df2.duplicated(subset=["gender","name"])  # 根据 gender,name两列判断重复