这篇文章总结一下大数据处理模块与导出模块:
大数据处理
功能
这个模块实现了对大数据的处理,用户选择处理方法并上传需要处理的数据集,系统将利用Hadoop集群与R对数据进行分析处理,并将结果显示给用户。
实现原理
模块使用Hadoop框架搭建了一个分布式集群,用于大数据的并行处理。并将Kmeans聚类算法与朴素贝叶斯分类算法用MapReduce编程框架实现。
Kmeans聚类算法的MapReduce化
该过程包括预处理、Kmeans聚类迭代两个过程的MapReduce化。- 数据的预处理MapReduce化:将输入的文本文件按行切分,生成(文件行offset,一行文本)形式的键/值对。
- Kmeans聚类迭代的MapReduce化:计算当前文档与各个类簇中心距离,选择最近的中心作为新的文档中心。
- Map阶段首先将输入的(文件行offset,一行文本)形式的键值对。Mapper类的map函数计算每一条样本距离哪个类簇中心最近,并归到距离最近的类簇中,输出(cluster,样本)的键值对。
- Reduce阶段中Reducer类的reduce函数重新计算每个类簇的中心。当一次迭代结束后,计算类簇中心是否收敛,若收敛则结束迭代,否则继续迭代。
朴素贝叶斯的MapReduce化
该过程包括预处理、模型训练和分类三大过程的MapReduce化。- 数据的预处理MapReduce化:将输入的文本文件按行切分,生成(文件行offsetÿ