Spark MLlib RandomForest（随机森林）建模与预测

最新推荐文章于 2024-07-29 21:22:31 发布

置顶光于前裕于后

最新推荐文章于 2024-07-29 21:22:31 发布

阅读量8.2k

点赞数 2

分类专栏：大数据动物园数据挖掘大数据基础知识

本文链接：https://blog.csdn.net/dr_guo/article/details/53258037

版权

大数据基础知识同时被 3 个专栏收录

28 篇文章 18 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

大数据动物园

95 篇文章 6 订阅

订阅专栏

数据挖掘

17 篇文章 1 订阅

订阅专栏

在没有预标记的异常用户数据情况下，通过数据清洗、特征工程和降维，使用Mahout/R进行聚类打标签。由于Mahout速度慢及R实现的KNN、RandomForest无法应用于实际，转向Spark MLlib实现RandomForest。本文介绍如何用Spark MLlib进行随机森林建模和预测。

摘要由CSDN通过智能技术生成

我要做的是发现异常用户，而我们之前没有已经打上异常不异常标签的样本，所以对原始数据进行清洗、特征工程、降维后用Mahout/R做的聚类，
打上了标签，本来打算继续用Mahout/R做分类，Mahout太慢，而用R实现KNN、RandomForest之后发现无法应用到真实项目上，所以用了MLlib。

下面是用R获取正负样本

#1.将kmeans标出的异常类标为1作为正样本，其它类标为0作为负样本
#1.1正常类标为0，作为负样本
#%in% 用法 a %in% table a值是否包含于table中，为真输出TURE，否则输出FALSE
levels(t_knn$cluster)[levels(t_knn$cluster) %in% c("1","2","11","4","5","6","7","8","9","10","12","13","14","15","16")] <- "0"

#1.2异常类标为1，作为正样本
levels(t_knn$cluster)[levels(t_knn$cluster) %in% c("3")] <- "1"
#1.3获取正负样本
negative_samples<-t_knn[which(t_knn$clu