Falcon入门
NobiGo
这个作者很懒,什么都没留下…
展开
-
APACHE FALCON CLI
1.Debug模式在这一模式下,Falcon CLI将能够输出Web Services API中关于你正在执行命令的详情。例如:执行成功:执行失败: Entity Management Operations1.submit用途:用于实体定义。用法:$FALCON_HOME/bin/falcon原创 2016-09-27 21:30:13 · 1177 阅读 · 0 评论 -
Falcon(一)——数据集管理和数据处理平台
目的:使终端用户在面向Hadoop集群进行数据集处理和数据集管理更加容易。原因在Hadoop环境中,在各种数据集和处理关系之间建立关系在集群中进行数据集管理例如数据集声明周期、数据集复制等抓取数据集或者处理过程的血统信息。允许本地数据和其他任何地方的集群进行数据整合。与metastore和catalog进行整合,例如:Hive和HcatalogEasy to onboard new wo原创 2017-02-26 23:08:27 · 6310 阅读 · 2 评论 -
Falcon(二)——架构详解
架构介绍Falcon是一个面向Hadoop的数据集和处理过程的管理平台。Falcon本质上是通过数据处理引擎将数据集和处理过程的配置文件转化为重复的业务处理流程。Falcon并不做任何繁重的工作,所有的过程和处理流管理都是由工作流调度器来完成的。Falcon所做的就是维持实体之间的依赖关系。Falcon给开发人员提供便捷。架构的整体框架调度器Falcon选择Oozie作为默认的调度器。当然Falco原创 2017-02-26 23:11:09 · 7115 阅读 · 0 评论 -
Falcon(三)——Falcon数据导入和导出
综述Falcon提供了周期性的将源数据从外部数据库(数据库,drop boxes etc)导入到Hadoop上以及将讲过Hadoop运算的数据导出到外部的数据库。在至今所有的版本中,Falcon仅仅支持关系型数据库(Mysql,Oracle等)讲过JDBC作为外部的数据源。将来的版本可能增加支持其他类型的数据库。先决条件要将数据导入和数据导出需要满足以下的条件: - Sqoop 1.4.6+ -原创 2017-02-26 23:12:28 · 2672 阅读 · 0 评论