大数据云计算
关注
分享
扫一扫
文章平均质量分 67
MairoMaKv
叫我小马好了
展开
-
MapReduce分布式计算框架-具体测试
使用MapReduce开发WordCount1）在pom.xml中添加mapreduce的依赖org.apache.hadoophadoop-mapreduce-client-app${hadoop.version}编写代码，注意要放在main下，不然一会打包会失败下一步，打开本地cmd，打包一下先进入这个工程的文件夹下 打包的命令为 mvn clean package -...原创 2018-11-27 18:53:39 · 201 阅读 · 0 评论 -
WordCountApp（MapReduce分布式计算框架代码）
package com.dsj.hadoop.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apach...原创 2018-11-27 18:57:40 · 283 阅读 · 0 评论 -
分布式计算框架-MapReduce学前须知
MapReduce容错 com.dsj.hadoop.hdfs.WordCountApp1）MRAppMaster：运行失败，由YARN的RM负责重新启动，默认启动次数2次2）Map/Reduce TaskTask会周期性向MRAppMaster发送心跳，汇报运行状况Task挂了，MRAppMaster会为task重新申请资源，然后重新执行(NM，换一个NM)，次数限制，默认4次使用M...转载 2018-11-27 19:00:27 · 191 阅读 · 1 评论