![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Etl工具【初学】
Azkaban
江湖侠客
这个作者很懒,什么都没留下…
展开
-
第3章 大数据Oozie的使用调度任务案例
上篇:第2章 大数据Oozie的部署&启动&发布1、案例一:Oozie调度shell脚本目标:使用Oozie调度Shell脚本分步实现:(1)解压官方案例模板[root@hadoop105 oozie-4.0.0-cdh5.3.6]# lltotal 553884drwxr-xr-x. 2 1106 4001 178 Jul 28 2015 bin...原创 2020-01-28 21:56:17 · 185 阅读 · 0 评论 -
第2章 大数据Oozie的部署&启动&发布
上篇:第1章 Oozie简介&Oozie的功能模块介绍1、部署Hadoop(CDH版本的)准备环境:oozie-4.0.0-cdh5.3.6.tar.gz、hadoop-2.5.0-cdh5.3.6.tar.gz、ext-2.2.zip自己已经拷贝进来了,在/usr/local/hadoop文件目录下由于jar包比较多,所以自己在/usr/local/hadoop/mod...原创 2020-01-27 20:59:30 · 244 阅读 · 0 评论 -
第1章 Oozie简介&Oozie的功能模块介绍
1、 Oozie简介Oozie英文翻译为:驯象人。一个基于工作流引擎的开源框架,由Cloudera公司贡献给Apache,提供对Hadoop MapReduce、Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。主要用于定时调度任务,多任务可以按照执行的逻辑顺序调度。2、Oozie的功能模块介绍2.1 模块(1)Workflow顺序执行流程节点...原创 2020-01-26 22:48:49 · 396 阅读 · 0 评论 -
第1章 大数据Cloudera Manager
1.1、 cloudera manager的概念简单来说,Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具(软件),使得安装集群从几天的时间缩短在几个小时内,运维人员从数十人降低到几人以内,极大的提高集群管理的效率。1.2、 cloudera manager的功能(1)管理:对集群进行管理,如添加、删除节点等操作。(2)监控:监控集群的健...原创 2020-01-30 16:04:50 · 268 阅读 · 0 评论 -
第2章 环境要求
上篇:第1章 Cloudera Manager1、准备环境(1)内存分配(将3台虚拟机分配好内存 )(2)JDK(安装JDK配置环境变量)(3) 安装配置mysql在hadoop105上安装mysql,配置相应的用户权限。(4 )关闭SELINUX临时关闭:setenforce 0修改配置文件/etc/selinux/config(重启生效)将SELINUX=enforc...原创 2020-02-23 19:22:32 · 154 阅读 · 0 评论 -
第1章 Cloudera Manager
1、cloudera manager的概念简单来说,Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具(软件),使得安装集群从几天的时间缩短在几个小时内,运维人员从数十人降低到几人以内,极大的提高集群管理的效率。2、cloudera manager的功能管理:对集群进行管理,如添加、删除节点等操作。监控:监控集群的健康情况,对设置的各种指...原创 2020-02-23 17:58:06 · 129 阅读 · 0 评论 -
第1 章 大数据Azkaban简介
一 、概述1.1、 为什么需要工作流调度系统1)一个完整的数据分析系统通常都是由大量任务单元组成: shell脚本程序,java程序,mapreduce程序、hive脚本等2)各任务单元之间存在时间先后及前后依赖关系3)为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行;例如,我们可能有这样一个需求,某个业务系统每天产生20G原始数据,我们每天都要对其进行处...原创 2020-01-29 14:02:28 · 187 阅读 · 0 评论