![](https://img-blog.csdnimg.cn/20210622180123978.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
HADOOP
文章平均质量分 52
hadoop
乔诺『布菲』
这个作者很懒,什么都没留下…
展开
-
WordCount过程实现的两种方式
第一种 MapReduce实现WordCount过程 思路示意图 先写Mapper package cnkgcmr; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; //import parquet.column.values.d原创 2021-05-31 18:11:20 · 820 阅读 · 0 评论 -
yarn的工作流程
yarn的工作流程 流程描述: 1 作业提交 (1)client 调用 job.waitForCompletion方法,向整个集群提交MapReduce作业. (2)client 向 ResourceManager 申请一个作业id. (3)ResourceManager 给client返回该job资源的提交路径(HDFS路径)和作业id ,每一个作业都有一个唯一的id. (4)client 发送jar包 、切片信息和配置文件到指定的资源提交路径. (5)client提交完资源后,向ResourceMan原创 2021-06-22 17:59:10 · 1395 阅读 · 0 评论