使用R kmeans 算法实现异常检测

kmeans 采用计算数据每个元素到聚集中心点的距离方式判断异常值。
利用R提供的kmeans函数把数据聚集为几个簇，然后再计算每个元素至簇中心的距离，最后选择最远距离的几个点，视为异常值。

准备数据

set.seed(97)
test <- as_tibble(runif(100)*10) %>% mutate(id=row_number(), .before = "value")
head(test, 10)

# 增加几个异常值
test %>% 
  mutate(value=ifelse(id %in% sample(1:100,5),sample(10:20,5),value)) -> test
summary(test)

上面代码首先生成100均匀分布的测试数据，然后转成tibble类型，接着增加5个异常值用于演示。

kmeans 实现

## 聚类为2个簇
km <- kmeans(test, centers=2)
## 获得每个点对于的中心点
centers=km$centers[km$cluster,] 
# km$centers
#     id    value
# 1 75.5 5.452826
# 2 25.5 4.488004
head(centers)
 #     id    value
# 2 25.5 4.488004
# 2 25.5 4.488004
# 2 25.5 4.488004
# 2 25.5 4.488004
# 2 25.5 4.488004
# 2 25.5 4.488004

# 计算每个点到中心点的距离
distance <- sqrt((test$value-centers[,2])^2)
 
 ## 按距离降序排序，获取最远的5个带你
ordered <- order(distance, decreasing = T)

km$cluster 把test转成向量，分别为1和2，表示为属于那个簇。km$centers 为每个簇的中心点。

画图

下面我们通过ggplot2 画原始数据并标出异常值。

## 取前5个点的序号，并获取对应的值，用于后面画图
out_ids <- head(ordered, 5)
outs <- test %>% filter(id %in% out_ids)
outs
#      id   value
#   <int>   <dbl>
# 1    26 16     
# 2    52 20     
# 3    74 19     
# 4    82  0.0202
# 5    86 16   
# 首先用点线图画原始数据，然后以叠加方式标出异常值
ggplot(test, aes(x=id, y=value)) + geom_line(aes(colour=I("blue"))) +
    geom_point(data=outs, aes(x=id, y=value, colour="red"))

完整代码

library(dplyr)
library(ggplot2)
library(tibble)

## 生成示例数据
set.seed(97)
test <- as_tibble(runif(100)*10) %>% mutate(id=row_number(), .before = "value")
head(test, 10)

# 增加几个异常值
test %>% 
  mutate(value=ifelse(id %in% sample(1:100,5),sample(10:20,5),value)) -> test
summary(test)

# test[sample(1:100,5)] <- sample(10:20,5)

# 画出数据的分布情况
# test是向量，这里直接使用qplot函数
# ggplot(test, aes(x=id, y=value)) + geom_line(aes(colour=I("blue")))
# qplot(x=1:length(test), y=test, geom = "line", colour = I("blue"))
 
km <- kmeans(test, centers=2)
centers=km$centers[km$cluster,] 
# km$centers
#     id    value
# 1 75.5 5.452826
# 2 25.5 4.488004

head(centers)

#     id    value
# 2 25.5 4.488004
# 2 25.5 4.488004
# 2 25.5 4.488004
# 2 25.5 4.488004
# 2 25.5 4.488004
# 2 25.5 4.488004
 
distance <- sqrt((test$value-centers[,2])^2)
 
ordered <- order(distance, decreasing = T)
out_ids <- head(ordered, 5)
#  
# print(outs)
# print(test[outs])

outs <- test %>% filter(id %in% out_ids)
outs
#      id   value
#   <int>   <dbl>
# 1    26 16     
# 2    52 20     
# 3    74 19     
# 4    82  0.0202
# 5    86 16   

# plot(test, pch=16, col="blue")
ggplot(test, aes(x=id, y=value)) + geom_line(aes(colour=I("blue"))) +
    geom_point(data=outs, aes(x=id, y=value, colour="red"))

因为生成的示例数据为向量，如果直接使用向量画图，则直接使用 qplot函数，x轴为序号，通过1:length(test_vec) 获得：
qplot(x=1:length(test_vec), y=test, geom = "line", colour = I("blue"))

两者的区别如下：

# test 为tibble
# ggplot(test, aes(x=id, y=value)) + geom_line(aes(colour=I("blue")))
# test为向量
# qplot(x=1:length(test), y=test, geom = "line", colour = I("blue"))