dplyr::distinct
对数据框去重,该方法默认保留重复记录的第一条记录
通过指定一列或多列进行去重
df %>% distinct( `column1` , `column2` , `···`, .keep_all = T) #.keep_all表示去重后返回数据框的所有列向量
通过基于所有列向量去除重复行记录
df %>% distinct()
此外,除了使用distinct
函数处理重复行记录,在dplyr管道中,还推荐使用group_by
配合使用 slice
实现更细致的去重操作,如:
- 随机保留1条重复行记录
df %>% group_by(`column1` , `···`) %>% slice_sample(n = 1) %>% data.frame()
- 保留第1个重复行记录
df %>% group_by(`column1` , `···`) %>% slice(1) %>% data.frame()
- 保留最后1个重复行记录
df %>% group_by(`column1` , `···`) %>% slice( n() ) %>% data.frame()
- 根据一列向量进行分组排序再去重保留符合要求的记录
df %>% group_by(`column1`) %>% arrange(desc(`column3`)) %>% slice(1) %>% data.frame()