Apache Yarn
Apache Yarn
猫君之上
一起学习大数据开发,共同进步
展开
-
Apache Hadoop Yarn主要组件详解
1.Yarn的产生背景由Doung cutting 根据Google的三篇论文(GFS,MapReduce,BigTable)研发的Hadoop 1.x版本中mapreduce,不仅负责分布式计算任务,而且内置了一个资源调度系统(JobTracker和TaskTracker)。因此导致mapreduce的压力特别大,而且由于各项缺陷,Yarn的产生势在必行。2.Hadoop 1.x中的资源...原创 2019-03-20 11:05:38 · 544 阅读 · 0 评论 -
Apache Yarn 2.x版本资源调度流程
Yarn 资源调度1.客户端向ResourceManager发送job提交请求(请求先到ASM注册)2.由scheduler进行调度(返回一个空闲的资源节点NodeManager)3.由ResourceManager在该空闲节点先分配一个Container,然后由该空闲的NodeManager节点在container中启动一个MRAPPMaster4.MRAPPMaster采用轮询的方式...原创 2019-03-20 11:44:46 · 251 阅读 · 0 评论 -
Apache Yarn MapReduce作业提交流程
1)客户端向ResourceManager发送提交job的请求2)ResourceManager向客户端返回一个job_id以及一个共享资源路径。job_id job__系统时间戳_ _编号共享资源路径 jar包里面包含maptask与reducetask,要想在所有节点上运行,那么必须将jar包上传到hdfs上(临时存储) 默认路径:/tmp/hadoop-yarn/s...原创 2019-03-20 13:46:38 · 280 阅读 · 0 评论 -
Apache Hive 常用内置函数及其使用
1.内置函数:(270+)show functions; -- 显示hive内置函数列表2.查看hive函数的用法(描述信息)desc function 函数名;desc function sum;desc function extended 函数名;desc function extended sum; -- 可以查看使用案例3.常用内置函数1)字符串操作函数split(...原创 2019-03-21 19:49:29 · 310 阅读 · 0 评论