![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
001 Hadoop
Oozie123
这个作者很懒,什么都没留下…
展开
-
Hadoop 通用数据摄取框架:Gobblin
Gobblin 是 Hadoop 通用数据摄取框架,可以从各种数据源中提取,转换和加载海量数据。比如:数据库,rest APIs,filers,等等。Gobblin 处理日常规划任务需要所有数据摄取 ETLs,包括作业/任务规划,任务分配,错误处理,状态管理,数据质量检测,数据发布等等。Gobblin 通过同样的执行框架从不同数据源摄取数据,在同一个地方管理所有不同数据源的元数据。同时结合了其他特性原创 2015-11-23 08:32:29 · 1105 阅读 · 0 评论 -
Yarn的JVM重用功能——uber
在文章开头,我想先做几点说明: 1、本文的内容来自我对Yarn的相应功能的理解和实践。而我对该部分功能的理解主要来自对Hadoop的开发者之前相应言论的分析,并且我也将我的分析发给了Hadoop community, 并得到了Yarn的创始人兼架构师Arun Murthy的肯定回复。 2、本文中uber的配置部分,主要参考之前Hadoop开发者的言论。但是我当初看该言论的时候对一些细节有所疑惑,转载 2015-11-16 15:03:47 · 1012 阅读 · 0 评论 -
Hadoop YARN中内存配置
主要参数RM● yarn.scheduler.minimum-allocation-mb 对每个Contaioner,向RM申请内存的最小配置,请求低于此配置,抛出InvalidResourceRequestException。 ● yarn.scheduler.maximum-allocation-mb 对每个Contaioner,向RM申请内存的最大配置,请求大于此配置,抛原创 2015-11-16 16:51:49 · 1617 阅读 · 0 评论 -
win7上使用eclipse阅读hadoop源码准备
win7上使用eclipse阅读hadoop源码准备:安装maven,protoc(http://www.aboutyun.com/thread-8212-1-1.html)获取源码进入hadoop-2.*-src\hadoop-maven-plugins,运行mvn install进入hadoop-2.*-src,运行mvn eclipse:eclipse -DskipTests进入ec原创 2016-03-03 11:26:19 · 504 阅读 · 0 评论 -
Hadoop/HBase下架节点
0 前言公司某些旧机器总是出现故障,需下架此台机器,该机器部署有regionserver与datanode服务。1 RegionServer下架[注:在即将下架节点上操作]bin/graceful_stop.sh hostname2 DataNode下架[注:在NameNode节点上操作]2.1 添加下架文件excludeglsx.hadoop315glsx.hadoop3192.2 配置hdfs原创 2016-03-22 11:31:38 · 1180 阅读 · 0 评论