图解大数据
天心有情
这个作者很懒,什么都没留下…
展开
-
图解mapreduce
小白自学、不喜勿喷原创 2017-03-03 23:00:56 · 426 阅读 · 0 评论 -
图解hive运行机制
Hive是构建在Hadoop之上的数据仓库平台,它的创造是为了让非Java程序员更方便使用MapReduce它的架构如下图所示:它的运行流程如下图:Hive创建的表的元信息存在于结构型数据库之内(这个数据库可以是自带的Derby数据库也可以是用户自己安装的数据库),而表中的内容存在于HDFS之中,用户输入SQL语句之后进行编译,然后在模板库找到对应的模板组装,最后交给Y原创 2017-03-18 14:18:52 · 4149 阅读 · 0 评论 -
图解mapreduce程序在YARN中执行机制
小白自学,如有错误,希望指点1、申请提交一个Application2、rm返回给yarnrnnner一个路径和id3,yarnrunner提交运行所需文件4、申请运行mr appmaster5、封装请求为task对象6、task对象经过调度算法处理后分配任务7、下载资源到本地、创建容器运行maptask8、申请运行maptask的资源9、领取任务,创建容器运行m原创 2017-03-06 20:38:55 · 526 阅读 · 0 评论