- 博客(2)
- 资源 (6)
- 收藏
- 关注
原创 Hadoop WordCount源码解读
MapReduce编程模型MapReduce采用“分而治之”的思想。将HDFS上海量数据切分成为若干块,将每块的数据分给集群上的节点进行计算。然后通过整合各节点的中间结果,得到最终的结果。 HDFS上默认块的大小要比磁盘默认的大小大的多。其目的是为了最小化寻址开销。如果块设置得足够大,从磁盘传输数据的时间明显大于定位这个块开始位置所需时间。这样,传输一个由多个块组成的文件时间取决于磁盘传输速率。
2015-07-26 17:43:04 3375 1
原创 Ubuntu环境下安装jdk
ubuntu环境下安装jdk1.工具 工欲善其事必先利其器,首先需要工具若干 ① ubuntu 12.04以上的环境 ② jdk源码包本教程默认已经安装好ubuntu12.04以上的环境。 jdk源码包可以在oracle官网上下载到,地址为: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-213
2015-07-07 21:45:29 616 1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人