Hue中使用oozie调用shell启动sqoop报错

最新推荐文章于 2022-08-01 15:13:42 发布
最新推荐文章于 2022-08-01 15:13:42 发布
阅读量1.2k 收藏
点赞数
分类专栏： hadoop 文章标签： hadoop hue集群 oozie集成 shell sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/love_lixr/article/details/110433318
版权

2020-12-01 14:23:01,841 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[cdh-dev5] USER[itview] GROUP[-] TOKEN[] APP[SqoopTest] JOB[0000000-201201142033410-oozie-oozi-W] ACTION[0000000-201201142033410-oozie-oozi-W@shell-2323] [***0000000-201201142033410-oozie-oozi-W@shell-2323***]Action status=RUNNING
2020-12-01 14:23:01,841 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[cdh-dev5] USER[itview] GROUP[-] TOKEN[] APP[SqoopTest] JOB[0000000-201201142033410-oozie-oozi-W] ACTION[0000000-201201142033410-oozie-oozi-W@shell-2323] [***0000000-201201142033410-oozie-oozi-W@shell-2323***]Action updated in DB!
2020-12-01 14:23:01,850 INFO org.apache.oozie.command.wf.WorkflowNotificationXCommand: SERVER[cdh-dev5] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000000-201201142033410-oozie-oozi-W] ACTION[0000000-201201142033410-oozie-oozi-W@shell-2323] No Notification URL is defined. Therefore nothing to notify for job 0000000-201201142033410-oozie-oozi-W@shell-2323
2020-12-01 14:23:14,804 INFO org.apache.oozie.servlet.CallbackServlet: SERVER[cdh-dev5] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000000-201201142033410-oozie-oozi-W] ACTION[0000000-201201142033410-oozie-oozi-W@shell-2323] callback for action [0000000-201201142033410-oozie-oozi-W@shell-2323]
2020-12-01 14:23:15,483 INFO org.apache.oozie.action.hadoop.ShellActionExecutor: SERVER[cdh-dev5] USER[itview] GROUP[-] TOKEN[] APP[SqoopTest] JOB[0000000-201201142033410-oozie-oozi-W] ACTION[0000000-201201142033410-oozie-oozi-W@shell-2323] action completed, external ID [job_1606803586261_0001]
2020-12-01 14:23:15,561 WARN org.apache.oozie.action.hadoop.ShellActionExecutor: SERVER[cdh-dev5] USER[itview] GROUP[-] TOKEN[] APP[SqoopTest] JOB[0000000-201201142033410-oozie-oozi-W] ACTION[0000000-201201142033410-oozie-oozi-W@shell-2323] Launcher ERROR, reason: Main class [org.apache.oozie.action.hadoop.ShellMain], exit code [1]
2020-12-01 14:23:15,589 INFO org.apache.oozie.command.wf.ActionEndXCommand: SERVER[cdh-dev5] USER[itview] GROUP[-] TOKEN[] APP[SqoopTest] JOB[0000000-201201142033410-oozie-oozi-W] ACTION[0000000-201201142033410-oozie-oozi-W@shell-2323] ERROR is considered as FAILED for SLA
2020-12-01 14:23:15,615 INFO org.apache.oozie.service.JPAService: SERVER[cdh-dev5] USER[itview] GROUP[-] TOKEN[] APP[SqoopTest] JOB[0000000-201201142033410-oozie-oozi-W] ACTION[0000000-201201142033410-oozie-oozi-W@shell-2323] No results found

 

Launcher ERROR, reason: Main class [org.apache.oozie.action.hadoop.ShellMain], exit code [1] 

。。。

ERROR is considered as FAILED for SLA

 

 

 

love_lixr
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
大数据~直接通过sqoop命令在窗口中执行，完全没有问题，可以运行，但是将其放在shell脚本后，执行报错
feizuiku0116的博客
11-23 739
可能的原因 由于这个shell文件是windows中创建的，windows中对空格的处理和linux中对空格处理方案不一致，然后再windows编写shell在linux运行，识别为shell语法有问题 解决方法 安装一个工具在node1: yum install -y dos2unix 作用 基于这个包完后才能够对shell中doc编写格式进行处理，将其转换为linux的unix格式方案 后续执行shell脚本之前 先执行 dos2unix shell脚本 然后执行 sh she
CDH中hue执行shell脚本调用sqoop脚本报错
AyubLIbra的博客
04-11 729
CDH中hue执行shell脚本调用sqoop脚本报错 1、Could not load db driver class: com.oracle.jdbc.Driver 解决：oracle驱动不存在。你可以把驱动包拷贝到/opt/cloudera/parcels/CDH/lib/sqoop/lib 。看到这个错误的时候，需要提示的一点，服务器上执行sqoop脚本。不会报错，但是在CDH中就会报错...
Oozie调用sqoop案例(shell脚本)——Oozie4.3.1
@羲凡—只为更好的活着
03-30 1158
@羲凡——只为了更好的活着 Oozie调用sqoop案例(shell脚本)——Oozie4.3.1 oozie调用sqoop的shell脚本准备三个文件 job.properties、sqoopshell.sh、workflow.xml。 特别说明 1.shell脚本中sqoop的命令要写本地全路径(/usr/local/package/sqoop-1.4.7.bin/bin/sqoop) 2.将...
HUE使用错误本
epitomizelu的专栏
07-26 540
1，提交 Workflow query-sqoop1 批作业 时出错：E0803: IO error, E0603: SQL error in operation, The transaction has been rolled back. See the nested exceptions for details on the errors that occurred. 使用HUE提交sqoop脚本通过sqoop将hive表数据导入到mysql时报错： 提交 Workflow query-sqoop1 批
关于在在hue当中执行shell脚本使用oozie调度，一直出现laucher异常退出。
weixin_30401605的博客
09-19 1102
Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.ShellMain], exit code [1] Oozie Launcher failed, finishing Hadoop job gracefully Oozie Launcher, uploading action data to HDFS ...
oozie 异常
大数据学习成长之路
04-05 286
异常1 Stack trace for the error was (for debug purposes): -------------------------------------- org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException): Us...
hue平台oozie工作流操作sqoop，把mysql.pdf
05-28
hue平台oozie工作流操作sqoop，把mysql数据传输到hdfs上
大数据框架Sqoop+Flume+Oozie+Hue视频教程
09-30
《大数据框架Sqoop+Flume+Oozie+Hue视频教程》Sqoop+Flume+Oozie+Hue整合大数据视频教程 经典之作 值得珍藏的大数据视频教程。
2018最新高清大数据协作框架全套视频教程（Sqoop，Flume，Oozie，WEB工具Hue）
08-24
1.02_02_01_03 Sqoop 使用要点（核心）及企业版本讲解.mp4 1.02_02_01_04 使用CDH 5.3.6版本快速搭建Hadoop 2.x和Hive伪分布式环境 网页.mp4 1.02_02_01_05 Sqoop 1安装及基本使用讲解 网页.mp4 1.02_02_01_06 使用...
Hue-oozie运行spark
12-17
本文档是入门文档，详细描述使用Hue编辑workflows提交spark程序。
大数据框架Sqoop+Flume+Oozie+Hue视频教程(59讲)
02-02
大数据框架Sqoop+Flume+Oozie+Hue视频教程(59讲) 内含百度云地址
Main class [org.apache.oozie.action.hadoop.HiveMain], exit code [10]
JavaShooter的专栏
05-03 3070
oozie执行hiveql，发生这样的异常！ Main class [org.apache.oozie.action.hadoop.HiveMain], exit code [10]
hue执行workflow工作流出现直接FAILED
小刘的博客
02-23 789
场景： 执行以下任务流的时候就出现了直接失败的情况 在第一次执行并且数据完善的情况下测试的，状态是成功的 但是第二次是在第一次基础上测试的，基础数据有所缺失 日志为： Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.ShellMain], exit code [1] Oozie Launcher failed, finishing Hadoop job gracefully Oozie Launcher,
Apache Oozie实战
beishanyingluo的博客
04-14 632
oozie安装好了之后，需要测试oozie的功能是否完整好使，官方已经给自带带了各种测试案例，可以通过官方提供的各种案例来学习oozie的使用，后续也可以把这些案例作为模板在企业实际中使用。 先把官方提供的各种案例给解压出来： cd /export/servers/oozie4.1.0 tar -zxvf oozie-examples.tar.gz 创建统一的工作目录，便于集中管理oozie。...
cdh的hue上oozie启动报错,Cannot allocate containers as requested resource is greater than maximum allowed
前方的路在刚开始
08-01 1222
我感觉很狗屁，于是我加大oozie的资源为2G，然后把yarn容器资源调成2.5G(在oozie和yarn的配置中）网上说是正常的，在hue中是看不到原因。需要获取他的外部地址，去oozie页面看。这是一个日志，相当于没有日志，只要是出错了，都会导致这种情况。这里我们修改oozie的默认值，将原来的2G改成了500MB。原因是，oozie启动资源默认，需要2GB。1.修改yarn资源调度的内存。2.修改oozie的默认值。跳转进hadoop，看日志。成功，没有报那个错误了。......
oozie执行报错日志
weixin_34064653的博客
06-16 534
Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.ShellMain], main() threw exception, Cannot run program "p1.sh" (in directory "/opt/module/cdh/hadoop-2.5.0-cdh5.3.6/data/tmp/nm-loc...
oozie 调度shell权限问题解决（非目录问题）
MR_REN019235的博客
10-18 2335
2019-10-18 16:58:26,303 INFO ActionStartXCommand:520 - SERVER[bigdata.t02.58btc.com] USER[bigdata] GROUP[-] TOKEN[] APP[oozieTest] JOB[0000004-190919182638476-oozie-oozi-W] ACTION[0000004-1909191826...
Oozie 报错的解决方法
大数据学习成长之路
04-05 1145
错误信息 org.apache.oozie.action.ActionExecutorException: Could not locate Oozie sharelib at org.apache.oozie.action.hadoop.JavaActionExecutor.addSystemShareLibForAction(JavaActionExecutor.java:614...
使用hue创建spark1和spark2的oozie工作流
最新发布
03-16
很抱歉，我是AI语言模型，无法提供操作指导。但是，您可以参考以下步骤： 1. 在Hue中创建一个新的Oozie工作流项目。 2. 选择Spark作为Oozie工作流的引擎。 3. 创建一个Spark1作业，并将其添加到工作流中。 4. 创建一个Spark2作业，并将其添加到工作流中。 5. 配置工作流的依赖关系和参数。 6. 验证和提交工作流。 希望这些步骤能够帮助您创建Spark1和Spark2的Oozie工作流。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值