![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 85
Zero_dot_degree
这个作者很懒,什么都没留下…
展开
-
大数据学习笔记之MapReduce作业执行流程
MapReduce作业执行流程大致可分为以下几步:①提交作业,②初始化作业,③分配任务,④执行作业,⑤更新进度和状态,⑥完成。又或者可划分为:①输入分片(input split),②Map阶段,③combiner阶段,④shuffle阶段,⑤reduce阶段。 提交作业 主要有几个步骤: ①调用JobTracker的getNewJobId()方法,获取作业ID。 ②检查作业相关路径...原创 2018-09-09 20:35:29 · 1392 阅读 · 0 评论 -
Hadoop 新 MapReduce 框架 Yarn 详解
转载自https://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/ Hadoop MapReduceV2(Yarn) 框架简介 原 Hadoop MapReduce 框架的问题 对于业界的大数据存储及分布式处理系统来说,Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架,对于 Hadoop 框架的介绍在此...转载 2018-09-12 22:10:03 · 149 阅读 · 0 评论 -
大数据学习笔记之Hadoop的一些机制
作业调度机制 作业调度有3个调度方式: ①FIFO(先进先出) :每个作业都会使用整个集群,只有轮到自己猜能享受服务 ②容量调度:每个队列采用的调度策略是FIFO算法,默认情况下不支持优先级抢占。 ③公平调度 :公平调度器按作业池来组织作业,会按照提交作业的用户数将资源公平地分到作业池。默认情况下,每一个用户游泳一个独立的作业池,而不会管他们提交了多少作业。在每一个资源池里,会用公平共享的...原创 2018-09-14 22:46:01 · 184 阅读 · 0 评论 -
VMware部署hadoop,spark可能遇到的问题
1.防火墙没关,导致ping不通 2.没有设置静态ip,导致ip变化后,通过ping slave这样的方式ping不通 3.vmware克隆系统,会导致mac和网卡等也克隆过来,从而有冲突。查看网络设备绑定文件:/etc/udev/rules.d/70-persistent-net.rules。查看HWADDR="00:0C:29:99:F1:6B"是否正确。不一致则需要在VMware的设置那...原创 2019-02-14 16:29:03 · 230 阅读 · 0 评论