![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Etl工具【初学】
Azkaban
江湖侠客
这个作者很懒,什么都没留下…
展开
-
第3章 大数据Oozie的使用调度任务案例
上篇:第2章 大数据Oozie的部署&启动&发布 1、案例一:Oozie调度shell脚本 目标:使用Oozie调度Shell脚本 分步实现: (1)解压官方案例模板 [root@hadoop105 oozie-4.0.0-cdh5.3.6]# ll total 553884 drwxr-xr-x. 2 1106 4001 178 Jul 28 2015 bin ...原创 2020-01-28 21:56:17 · 178 阅读 · 0 评论 -
第2章 大数据Oozie的部署&启动&发布
上篇:第1章 Oozie简介&Oozie的功能模块介绍 1、部署Hadoop(CDH版本的) 准备环境: oozie-4.0.0-cdh5.3.6.tar.gz、 hadoop-2.5.0-cdh5.3.6.tar.gz、 ext-2.2.zip 自己已经拷贝进来了,在/usr/local/hadoop文件目录下 由于jar包比较多,所以自己在/usr/local/hadoop/mod...原创 2020-01-27 20:59:30 · 237 阅读 · 0 评论 -
第1章 Oozie简介&Oozie的功能模块介绍
1、 Oozie简介 Oozie英文翻译为:驯象人。一个基于工作流引擎的开源框架,由Cloudera公司贡献给Apache,提供对Hadoop MapReduce、Pig Jobs的任务调度与协调。 Oozie需要部署到Java Servlet容器中运行。主要用于定时调度任务,多任务可以按照执行的逻辑顺序调度。 2、Oozie的功能模块介绍 2.1 模块 (1)Workflow 顺序执行流程节点...原创 2020-01-26 22:48:49 · 375 阅读 · 0 评论 -
第1章 大数据Cloudera Manager
1.1、 cloudera manager的概念 简单来说,Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具(软件),使得安装集群从几天的时间缩短在几个小时内,运维人员从数十人降低到几人以内,极大的提高集群管理的效率。 1.2、 cloudera manager的功能 (1)管理:对集群进行管理,如添加、删除节点等操作。 (2)监控:监控集群的健...原创 2020-01-30 16:04:50 · 246 阅读 · 0 评论 -
第2章 环境要求
上篇:第1章 Cloudera Manager 1、准备环境 (1)内存分配(将3台虚拟机分配好内存 ) (2)JDK(安装JDK配置环境变量) (3) 安装配置mysql 在hadoop105上安装mysql,配置相应的用户权限。 (4 )关闭SELINUX 临时关闭: setenforce 0 修改配置文件/etc/selinux/config(重启生效) 将SELINUX=enforc...原创 2020-02-23 19:22:32 · 148 阅读 · 0 评论 -
第1章 Cloudera Manager
1、cloudera manager的概念 简单来说,Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具(软件),使得安装集群从几天的时间缩短在几个小时内,运维人员从数十人降低到几人以内,极大的提高集群管理的效率。 2、cloudera manager的功能 管理:对集群进行管理,如添加、删除节点等操作。 监控:监控集群的健康情况,对设置的各种指...原创 2020-02-23 17:58:06 · 111 阅读 · 0 评论 -
第1 章 大数据Azkaban简介
一 、概述 1.1、 为什么需要工作流调度系统 1)一个完整的数据分析系统通常都是由大量任务单元组成: shell脚本程序,java程序,mapreduce程序、hive脚本等 2)各任务单元之间存在时间先后及前后依赖关系 3)为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行; 例如,我们可能有这样一个需求,某个业务系统每天产生20G原始数据,我们每天都要对其进行处...原创 2020-01-29 14:02:28 · 166 阅读 · 0 评论