Oozie学习 day01

今天，我开始了Oozie的学习。学习了Oozie的介绍、Oozie功能模块介绍、搭建CDH版本的Hadoop、CDH版本的Oozie安装部署、实操案例、总结、Apache Oozie版本编译源码。
总结一下：
1.Oozie简介
Oozie英文翻译为：驯象人。一个基于工作流引擎的开源框架，由Cloudera公司贡献给Apache，提供对Hadoop Mapreduce、Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。主要用于定时调度任务，多任务可以按照执行的逻辑顺序调度。
2.Oozie的功能模块介绍
1、模块
1）Workflow
顺序执行流程节点，支持fork（分支多个节点），join（合并多个节点为一个）
2）Coordinator
定时触发workflow
3）Bundle Job
绑定多个Coordinator
2、常用节点
1）控制流节点（Control Flow Nodes）
控制流节点一般都是定义在工作流开始或者结束的位置，比如start,end,kill等。以及提供工作流的执行路径机制，如decision，fork，join等。
2）动作节点（Action Nodes）
负责执行具体动作的节点，比如：拷贝文件，执行某个Shell脚本等等。
3.可能遇到的问题总结
1、workflow.xml
workflow.xml配置的时候不要忽略file属性。
2、jps查看进程时
注意有没有bootstrap。
3、关闭oozie
如果bin/oozied.sh stop无法关闭，则可以使用kill -9 [pid]，之后oozie-server/temp/xxx.pid文件一定要删除。
4、Oozie重新打包时
一定要注意先关闭进程，删除对应文件夹下面的pid文件。
5、配置文件一定要生效
起始标签和结束标签无对应则不生效，配置文件的属性写错了，那么则执行默认的属性。
6、libext下边的jar存放于某个文件夹中，导致share/lib创建不成功。
7、调度任务时，找不到指定的脚本，可能是oozie-site.xml里面的Hadoop配置文件没有关联上。
8、修改Hadoop配置文件，需要重启集群。一定要记得scp到其他节点。
9、JobHistoryServer必须开启，集群要重启的。
10、Mysql配置如果没有生效的话，默认使用derby数据库。
11、在本地修改完成的job配置，必须重新上传到HDFS。
12、将HDFS中上传的oozie配置文件下载下来查看是否有错误。
13、Linux用户名和Hadoop的用户名不一致。
4.Apache Oozie编译源码
概述
oozie 的使用，最好去使用cdh版本，各个框架兼容性好，如果使用apache 版本，需要逛逛apache社区，看看各个框架的版本依赖，最好不要跨版本号依赖，解决兼容性问题是很头疼的问题。
大数据框架中，oozie 是比较复杂的，尤其是部署的时候，编译啊….
定时调度任务框架有
Azkaban Azkaban部署起来非常简单，是最简单的
crontab 滴滴公司就是用的crontab轻量级
oozie 是最强大的，部署的时候，细节很重要