pandas---删除重复行、映射、异常值检测与过滤、抽样

1. 删除重复行

使用duplicated()函数检测重复的行。

返回布尔类型的Series对象，每个元素对应一行，如果该行不是第一次出现，则元素为True。

def make_df(indexs, columns):    
    data = [[str(j)+str(i) for j in columns] for i in indexs]
    df = pd.DataFrame(data=data, index=indexs, columns=columns)
    return df
df = make_df([1, 2, 3, 4], list('ABCD'))
df

# 让第一行和第二行重复
df.loc[1] = df.loc[2]
df

# 判断是否和前面的行重复了
df.duplicated()
df.duplicated(keep='first')  # 保留第一行
df.duplicated(keep='last')  # 保留最后一行
df.duplicated(keep=False)  # 标记所有重复行，不保留任何一行

df.loc[1, 'D'] = 'DDD'
df

# subset: 子集
df.duplicated(subset=['A','B','C'])

 

 使用drop_duplicates()函数删除重复的行：

print(df.drop_duplicates())
df.drop_duplicates(subset=['A', 'B', 'C'])
df.drop_duplicates(subset=['A', 'B', 'C'], keep='last')

 

2. 映射

映射的含义：创建一个映射关系列表，把values元素和一个特定的标签或者字符串绑定。

replace()函数：替换元素

index = ['张三', '张三丰', '李白', '杜甫']
columns = ['Python', 'Java', 'H5', "UI"]
data = np.random.randint(0, 100, size=(4, 4))
df = pd.DataFrame(data=data, index=index, columns=columns)
df

# 替换元素
df.replace({5: 50, 1: 100})

map()函数：新建一列，map()函数中可以使用lambda函数，适合处理某一单独的列

df2 = df.copy()
df2

# map一般用在Series数据结构，不能用于DataFrame
# df2['Python'].map({16: 160, 12: 120, 17: 170, 60:600})
# 将Python的每个人的成绩乘以10
df2['Python'].map(lambda x : x * 10)
# 新增一列
df2['Pandas'] = df2['Python'].map(lambda x : x * 10)
df2

 

# 新增一列：判断Java的成绩是否及格
df2['Java是否及格'] = df2['Java'].map(lambda n: '及格'  if n>=60 else '不及格')
df2

# 使用普通函数
# 新增一列： 判断UI成绩
#  <60  不及格
#  60<=n <80 及格
#  >=80 优秀
def fn(n):
    if n < 60:
        return '不及格'
    elif n < 80:
        return '及格'
    return '优秀'
df2['UI等级'] = df2['UI'].map(fn)
df2

 

rename()函数：替换索引。

df3.rename({'张三': 'Mr Zhang'})  # 默认修改行索引名
df3.rename({'Python': '派森'}, axis=1)  # 修改列索引名
df3.rename(index={'张三': 'Mr Zhang'}) # 修改行索引名
df3.rename(columns={'Python': '派森'}) # 修改列索引名

# 重置索引
df3.reset_index()

# 设置行索引
df3.set_index(keys=['H5'])

apply()函数：既支持 Series，也支持 DataFrame

df = pd.DataFrame(data=np.random.randint(0, 10, size=(5, 3)),
                              index=list('ABCDE'),
                              columns=['Python', 'NumPy', 'Pandas']
                 )
df

# 用于Series, 其中x表式的Series中元素
df['Python'].apply(lambda x:  True if x>5 else False)

# 用于DataFrame, 其中x是DataFrame中某列或某行的Series数据
df.apply(lambda x : x.mean(), axis=0)  # 求每一列数据的平均值
df.apply(lambda x : x.mean(), axis=1)  # 求每一行数据的平均值

 

# 自定义方法
def fn2(x):
    return  (np.round(x.mean(), 1), x.count())  # 平均值，计数
df.apply(fn2, axis=1)

# applymap: DataFrame专有的方法，其中的x是每个元素
df.applymap(lambda x : x + 100) 

 

transform()函数

df = pd.DataFrame(data=np.random.randint(0, 10, size=(5, 3)),
                              index=list('ABCDE'),
                              columns=['Python', 'NumPy', 'Pandas']
                 )
df

# Series中使用transform
# 可以执行多项计算
df['Python'].transform([np.sqrt, np.exp])

# DataFrame中使用transform
def convert(x):
    if x.mean() > 5:
        return x * 10
    return x * (-10)   
df.transform(convert)  # 处理每一列
df.transform(convert, axis=1)  # 处理每一行

 

3. 异常值检测和过滤 

describe()：查看每一列的描述性统计量

df.std()：可以求得DataFrame对象每一列的标准差

df.drop()：删除特定索引

unique()：唯一，去重，DataFrame没有unique，Series调用unique。

df.query：按条件查询

df2.drop('A')  # 默认删除行
df2.drop('Python', axis=1)  # 删除列
df2.drop(index='A')  # 删除行
df2.drop(columns='Python')  # 删除列
# 删除多列或多行
df2.drop(columns=['NumPy', 'Python'])
df2.drop(index=['A', 'B'], inplace=True)

df['Python'].unique()

# ==， >, <
# and, &
#  or ， | 
# in 
df.query('Python == 9')  # 找到Python列中等于9的所有行
df.query('Python < 8') 
df.query('Python>6 and NumPy==2')
df.query('Python>6 & NumPy==2')
df.query('Python==3 or NumPy==2')
df.query('Python==3 | NumPy==2')
df.query('Python in [3, 4, 5, 6]')  # 成员运算符
# 使用变量
n = 7
df.query('Python == @n')  # @n 表式使用变量n的值
m =  [3, 4, 5, 6]
df.query('Python in @m')  # 成员运算符

df.sort_values(): 根据值排序；

df.sort_index(): 根据索引排序。

#  sort_values : 默认按照列名排序，默认升序  （常用）
df.sort_values('Python')  
# ascending: 是否升序，默认是True
df.sort_values('Python', ascending=False)  # 降序

# 根据行索引名排序，会把列进行排序（不常用）
df.sort_values('B', axis=1)

# 按照索引名排序 （不常用）
# 默认是对行索引进行排序，默认是升序
df.sort_index(ascending=False)
# 按照列索引排序
df.sort_index(ascending=False, axis=1)

df.info(): 查看数据信息

df.info()

4. 抽样 

使用.take()函数排序；可以借助np.random.permutation()函数随机排序。

df2.take([1, 0, 2])  # 行排列
df2.take([1, 0, 2], axis=1)  # 列排列

# 随机排列
np.random.permutation([0, 1, 2])

# 无放回抽样: 依次随机取出，没有重复值
df2.take(np.random.permutation([0, 1, 2]))

 

# 有放回抽样： 可能会出现重复值

np.random.randint(0, 3, size=5)

df2.take(np.random.randint(0, 3, size=5))