大数据云计算
文章平均质量分 67
MairoMaKv
叫我小马好了
展开
-
MapReduce分布式计算框架-具体测试
使用MapReduce开发WordCount 1)在pom.xml中添加mapreduce的依赖 org.apache.hadoop hadoop-mapreduce-client-app ${hadoop.version} 编写代码,注意要放在main下,不然一会打包会失败 下一步,打开本地cmd,打包一下 先进入这个工程的文件夹下 打包的命令为 mvn clean package -...原创 2018-11-27 18:53:39 · 166 阅读 · 0 评论 -
WordCountApp(MapReduce分布式计算框架代码)
package com.dsj.hadoop.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apach...原创 2018-11-27 18:57:40 · 251 阅读 · 0 评论 -
分布式计算框架-MapReduce学前须知
MapReduce容错 com.dsj.hadoop.hdfs.WordCountApp 1)MRAppMaster:运行失败,由YARN的RM负责重新启动,默认启动次数2次 2)Map/Reduce Task Task会周期性向MRAppMaster发送心跳,汇报运行状况 Task挂了,MRAppMaster会为task重新申请资源,然后重新执行(NM,换一个NM),次数限制,默认4次 使用M...转载 2018-11-27 19:00:27 · 158 阅读 · 1 评论