Hadoop
笑给我看
学生一枚~ 励志成为人工智能工程师
展开
-
Hadoop随笔——资源调度框架
资源调度框架——YARN YARN的产生背景 MapReduce1.x存在的问题:单点故障(JT)&节点(JT)压力大不易拓展&必能支持除了reduce之外的作业 它也是采用类似的心跳机制 资源利用率低&运维成本高 由此催生了YARN,是的不同计算框架可以共享同一个HDFS集群上的数据,享受整体的资源调度, 不同的计算框架在YARN上面工作的好处:按资源需要分配,进...原创 2018-10-07 11:25:02 · 306 阅读 · 0 评论 -
HDFS随笔——MapReduce
MarReduce 优点:海量数据离线处理&易开发&易运行 缺点:不可能做到实时 流式计算(因为数据拆分是的流式计算不可能实现,多个程序实现以来关系,一个输出是另一个的输入) MapReduce编程模型之Map和Reduce阶段 多个mapping之间是并行处理的,相互支架是没有依赖关系的; 框架会对输出进行排序 mapping的输出作为reducing的输入,作业的输出都...原创 2018-10-07 19:42:04 · 185 阅读 · 0 评论