oozie
治辉料码
程序员一枚,翻译过camel软件图书,参与过阿里巴巴数据库连接池Duid开发,主持过全国税务核心业务平台搭建。现在大数据公司码农。
来吧一块学习大数据。
喜欢看书,喜欢思考。
保持正念,主人翁我在,拒绝自动驾驶。
展开
-
WorkFlow中Sqoop Action使用案例错误总结
job.properties 中可能出现的错误jobTracker=hadoop-senior.beifeng.com:8032 端口错误 jobTracker的端口设置错误 8032 。表示是yarn的运行地址及端口号oozieAppsRoot 地址错误 表示 在HDFS上oozie运行sqoop流程job的目录。目录前后把反斜杠都去掉。正确写法是oozieA...原创 2018-04-05 12:48:04 · 324 阅读 · 0 评论 -
WorkFlow中Sqoop Action运行案例
复制样例[beifeng@hadoop-senior oozie-4.0.0-cdh5.3.6]$ cp -r examples/apps/sqoop oozie-apps/样例重新命令mv sqoop sqoop-import复制mysql依赖包[beifeng@hadoop-senior oozie-apps]$ mkdir sqoop-import/l...原创 2018-04-05 16:04:04 · 320 阅读 · 0 评论 -
Oozie WorkFlow中Hive Action案例
官方地址http://archive.cloudera.com/cdh5/cdh/5/oozie-4.0.0-cdh5.3.6/DG_HiveActionExtension.html复制样例重新命名后对hive进行修改 cp -r examples/apps/hive oozie-apps/mv oozie-apps/hive hive-select修改hiv...原创 2018-04-05 16:06:18 · 1313 阅读 · 2 评论 -
oozie工作流定义
介绍流程定义流程节点启动节点结束节点Kill Control NodeMap-Reduce ActionA map-reduce action can be configured to perform file system cleanup and directory creation before starting t...原创 2018-04-05 16:06:49 · 693 阅读 · 0 评论 -
Oozie 报错的解决方法
错误信息org.apache.oozie.action.ActionExecutorException: Could not locate Oozie sharelib at org.apache.oozie.action.hadoop.JavaActionExecutor.addSystemShareLibForAction(JavaActionExecutor.java:614...原创 2018-04-05 16:07:09 · 1156 阅读 · 0 评论 -
Oozie案例运行MapReduced Workflow
解压oozie-examples.tar.gz[beifeng@hadoop-senior oozie-4.0.0-cdh5.3.6]$ tar -zxvf oozie-examples.tar.gz 上传Examples The examples/ directory must be copied to the user HOME directory in HDFS...原创 2018-04-05 16:08:17 · 433 阅读 · 0 评论 -
oozie安装部署
安装步骤 解压–>配置代理用户–>解压oozie依赖的hadoop包–>复制hadoop依赖包到libext目录–>把ext*.zip包放到libext中–>准备oozie的war包–>oozie依赖包上传到HDFS系统–>创建oozie数据库–>修改oozie依赖hadoop配置文件路径–>启动oozie环境要求配置...原创 2018-04-05 16:11:34 · 245 阅读 · 0 评论 -
oozie 异常
异常1Stack trace for the error was (for debug purposes):--------------------------------------org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException): Us...原创 2018-04-05 16:11:59 · 307 阅读 · 0 评论 -
Oozie 介绍
Hadoop 调度框架Linux Crontab Azkaban https://azkaban.github.io/Oozie http://oozie.apache.org/Zeus https://github.com/michael8335/zeus2Azkaban, Open-source Workflow ManagerOozie, Workfl...原创 2018-04-05 16:12:39 · 4054 阅读 · 0 评论