大数据环境下基于R语言的数据挖掘平台之大数据处理与导出模块

最新推荐文章于 2022-10-01 11:30:36 发布

VIP文章 Claire_Bear7

最新推荐文章于 2022-10-01 11:30:36 发布

阅读量1.5k

点赞数

分类专栏：项目总结文章标签： R语言

本文链接：https://blog.csdn.net/claire7/article/details/46764489

版权

这篇文章总结一下大数据处理模块与导出模块：

这个模块实现了对大数据的处理，用户选择处理方法并上传需要处理的数据集，系统将利用Hadoop集群与R对数据进行分析处理，并将结果显示给用户。

模块使用Hadoop框架搭建了一个分布式集群，用于大数据的并行处理。并将Kmeans聚类算法与朴素贝叶斯分类算法用MapReduce编程框架实现。

Kmeans聚类算法的MapReduce化
该过程包括预处理、Kmeans聚类迭代两个过程的MapReduce化。
- 数据的预处理MapReduce化：将输入的文本文件按行切分，生成（文件行offset，一行文本）形式的键/值对。
- Kmeans聚类迭代的MapReduce化：计算当前文档与各个类簇中心距离，选择最近的中心作为新的文档中心。
  - Map阶段首先将输入的（文件行offset，一行文本）形式的键值对。Mapper类的map函数计算每一条样本距离哪个类簇中心最近，并归到距离最近的类簇中，输出（cluster,样本）的键值对。
  - Reduce阶段中Reducer类的reduce函数重新计算每个类簇的中心。当一次迭代结束后，计算类簇中心是否收敛，若收敛则结束迭代，否则继续迭代。
朴素贝叶斯的MapReduce化
该过程包括预处理、模型训练和分类三大过程的MapReduce化。
- 数据的预处理MapReduce化：将输入的文本文件按行切分，生成（文件行offsetÿ

关注