超级会员免费看
Apache Oozie是一种工作流调度引擎，用于协调Hadoop平台上的相互依赖任务。它支持定时触发和数据驱动的工作流，常用于协调如Sqoop这样的任务。Oozie通过bundle系统管理协调应用程序，而Tez则是更底层的DAG作业框架，用于提升MR、Hive、Pig等工具的性能，两者在功能和设计上有明显区别。
应用场景
Apache Oozie 是用于 Hadoop 平台的一种工作流调度引擎。该框架使用 Oozie 协调器促进了相互依赖的重复工作之间的协调，您可以使用预定的时间或数据可用性来触发 Apache Oozie。您可以使用 Oozie bundle 系统提交或维护一组协调应用程序。作为本练习的一部分，Oozie 运行了一个 Apache Sqoop 作业，以便在 MySQL 数据库中的数据上执行导入操作，并将数据传输到 Hadoop 分布式文件系统 (HDFS) 中。可以利用导入的数据集执行 Sqoop 合并操作，从而更新较旧的数据集。通过利用 UNIX shell 操作，可从 MySQL 数据库中提取用来执行 Sqoop 作业的元数据。同理，可执行 Java 操作来更新 Sqoop 作业所需的 MySQL 数据库中的元数据。
订阅专栏 解锁全文
扫一扫
823
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
