MapReduce
Java面试大全
分享一些有关于 Java 体系的知识,包括Java 基础知识/数据结构/算法/面试技巧,Spring/Springboot/MQ源码分析,高并发/高性能/分布式/微服务架构的原理,JVM性能优化 ,希望能让大家在技术上和思想上带来一些提升。
展开
-
MapReduce原理
◆执行步骤: 1. map任务处理1.1 读取输入文件内容,解析成key、value对。对输入文件的每一行,解析成key、value对。每一个键值对调用一次map函数。1.2 写自己的逻辑,对输入的key、value处理,转换成新的key、value输出。2.reduce任务处理2.1 在reduce之前,有一个shuffle的过程对多个map任务的输出进行合并、排序。2.2写reduce函数自己...原创 2018-05-26 09:54:08 · 13007 阅读 · 0 评论 -
MapReduce中Job运行流程(集群运行模式和本地运行模式)
原创 2018-05-26 09:56:46 · 13723 阅读 · 0 评论 -
MapReduce中Job的几种运行模式
MapReduce中job的几种运行模式1、在eclipse中开发好mr程序(windows或linux下都可以),然后打成jar包(wc.jar),上传到服务器 执行命令 hadoop jar wc.jar cn.itheima.hadoop.MainClassRunner 这种方式会将这个job提交到yarn集群上去运行 ...原创 2018-05-26 09:59:11 · 13769 阅读 · 0 评论 -
Combiner组件
原创 2018-05-29 09:27:07 · 13146 阅读 · 0 评论 -
部分其它知识
一、combiner1、是在每一个map task的本地运行,能收到map输出的每一个key的valuelist,所以可以做局部汇总处理2、因为在map task的本地进行了局部汇总,就会让map端的输出数据量大幅精简,减小shuffle过程的网络IO3、combiner其实就是一个reducer组件,跟真实的reducer的区别就在于,combiner运行maptask的本地4、combiner...原创 2018-05-29 09:26:48 · 13073 阅读 · 0 评论