![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
big data
Tim_long
欢迎与我交流!
联系方式
Email:mrtimlong@126.com
QQ:2962847843
展开
-
MapReduce编程实现矩阵转置
MapReduce实现矩阵的转置 在大型数据处理中我们经常会用到Hadoop分布式数据处理技术,矩阵转置在矩阵相乘算法中是核心算法,而矩阵相乘也是算法中涉及的数学公式常有的。本篇介绍用MapReduce实现矩阵相乘。 首先,搭建eclipse的hadoop开发环境,可以参考这里。 在hdfs根目录下新建目录“matrix”,向其中上传一份事先按照指定格式编写好的矩阵格式,如下图原创 2018-01-21 20:57:36 · 705 阅读 · 0 评论 -
MapReduce实现WordCount以及常见问题解决
Hadoop环境开发环境测试 最近在做一个大数据方面的小工程,需要使用基于hadoop环境进行计算。MapReduce是Hadoop生态系统下的成熟的计算框架,在开发之前需要搭建MapReduce开发环境并测试。 由于我本身就是大数据方面的新手,因此在开始的时候遇到不小的麻烦,但在慢慢的寻找解决办法的过程中还是有所感悟的,因此有必要做一下记录,希望给读者有所帮助! 通常我们需要在原创 2018-01-24 20:47:52 · 2706 阅读 · 0 评论