R语言数据去重

R语言常用的去重命令有unique duplicated

 

unique主要是返回一个把重复元素或行给删除的向量、数据框或数组

> x <- c(3:5, 11:8, 8 + 0:5)
> x
 [1]  3  4  5 11 10  9  8  8  9 10 11 12 13
> unique(x)
[1]  3  4  5 11 10  9  8 12 13
> unique(x, fromLast = TRUE)
[1]  3  4  5  8  9 10 11 12 13    #排序后的

> a
     [,1] [,2] [,3]
[1,]    1    2    3
[2,]    1    2    4
[3,]    1    3    5
[4,]    1    2    3

> unique(a)
     [,1] [,2] [,3]
[1,]    1    2    3
[2,]    1    2    4
[3,]    1    3    5   #去除重复的最后一行

 

duplicated主要是判定向量或数据框中的元素是否重复，它返回一个元素（行）是不是重复的逻辑向量

> duplicated(a)
[1] FALSE FALSE FALSE  TRUE    # 返回一个是否重复的逻辑判断

> a[!duplicated(a),]
     [,1] [,2] [,3]
[1,]    1    2    3
[2,]    1    2    4
[3,]    1    3    5                         #去除重复的最后一行

 

如果把第二列有重复的去除，则需要加一个索引

> index <- duplicated(a[,2])
> index
[1] FALSE  TRUE FALSE  TRUE
> a[!index,]
     [,1] [,2] [,3]
[1,]    1    2    3
[2,]    1    3    5