数据分析之Pandas-03多行索引和数据处理

01-多层行索引

进行切片，有些汉字出问题，有些没问题

02-Pandas数据处理

删除重复元素

df = DataFrame({'color':['white','white','red','red','white'],
               'value':[2,1,3,3,2]})
display(df,df.duplicated(),df.drop_duplicates())

映射

• replace()函数：替换元素，
• map()函数：新建一列!!!map中返回的数据是一个具体值，不能迭代
• rename()函数：替换索引

异常值检测和过滤

1. 使用describe()函数查看每一列的描述性统计量。
2. 使用std()函数可以求得DataFrame对象每一列的标准差。
3. 根据每一列的标准差，对DataFrame元素进行过滤。
4. 借助any()函数，对每一列应用筛选条件

排序

使用.take()函数排序
可以借助np.random.permutation()函数随机排序

随机抽样

当DataFrame规模足够大时，直接使用np.random.randint()函数，就配合take()函数实现随机抽样
练习：
创建DataFrame：张三李四王老五的期中考试成绩，对着三名同学随机排序

初级数据聚合

数据分类处理的核心： groupby()函数

高级数据聚合

可以使用pd.merge()函数包聚合操作的计算结果添加到df的每一行。

可以使用transform和apply实现相同功能。