dolphinscheduler 调度 sqoop 1.4.7 报错 Got exception running Sqoop

dolphinscheduler版本:apache-dolphinscheduler-2.0.3-bin
sqoop版本:1.4.7
在任务调度中不断的报错说没有驱动,但是我查看了 dolphinscheduler 的 lib 和 sqoop 的 lib 目录,发现都有 mysql 的驱动,而且版本符合安装的版本。
后来发现是 sqoop 的参数没有配置全
需要在 dolphinscheduler 的配置页面添加如下参数:
–driver com.mysql.jdbc.Driver
sqoop需要添加的参数

2022-03-18 00:19:21,429 ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: Could not load db driver class: com.mysql.jdbc.Driver
	java.lang.RuntimeException: Could not load db driver class: com.mysql.jdbc.Driver
		at org.apache.sqoop.manager.SqlManager.makeConnection(SqlManager.java:875)
		at org.apache.sqoop.manager.GenericJdbcManager.getConnection(GenericJdbcManager.java:59)
		at org.apache.sqoop.manager.SqlManager.execute(SqlManager.java:763)
		at org.apache.sqoop.manager.SqlManager.execute(SqlManager.java:786)
		at org.apache.sqoop.manager.SqlManager.getColumnInfoForRawQuery(SqlManager.java:289)
		at org.apache.sqoop.manager.SqlManager.getColumnTypesForRawQuery(SqlManager.java:260)
		at org.apache.sqoop.manager.SqlManager.getColumnTypesForQuery(SqlManager.java:253)
		at org.apache.sqoop.manager.ConnManager.getColumnTypes(ConnManager.java:336)
		at org.apache.sqoop.orm.ClassWriter.getColumnTypes(ClassWriter.java:1872)
		at org.apache.sqoop.orm.ClassWriter.generate(ClassWriter.java:1671)
		at org.apache.sqoop.tool.CodeGenTool.generateORM(CodeGenTool.java:106)
		at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:501)
		at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:628)
		at org.apache.sqoop.Sqoop.run(Sqoop.java:147)
		at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76)
		at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183)
		at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234)
		at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243)
		at org.apache.sqoop.Sqoop.main(Sqoop.java:252)

找不到 sqoop 命令:

  1. SQOOP_HOME路径,环境变量要配置,dolphinscheduler 的 /opt/module/ds/conf/env/dolphinscheduler_env.sh 中也要配置
  2. 每个服务节点都要有 sqoop
[INFO] 2022-03-18 00:50:14.559 TaskLogLogger-class org.apache.dolphinscheduler.plugin.task.sqoop.SqoopTask:[66] -  -> welcome to use bigdata scheduling system...
	/tmp/dolphinscheduler/exec/process/4629141225184/4630484344672_8/18/35/18_35.command:行5: sqoop: 未找到命令
[INFO] 2022-03-18 00:50:14.560 TaskLogLogger-class org.apache.dolphinscheduler.plugin.task.sqoop.SqoopTask:[60] - FINALIZE_SESSION
  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Apache DolphinScheduler是一个新一代分布式大数据工作流任务调度系统,致力于“解决大数据任务之间错综复杂的依赖关系,整个数据处理开箱即用”。它以 DAG(有向无环图) 的方式将任务连接起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及 Kill任务等操作。目前已经有像IBM、腾讯、美团、360等400多家公司生产上使用。 调度系统现在市面上的调度系统那么多,比如老牌的Airflow, Oozie,Kettle,xxl-job ,Spring Batch等等, 为什么要选DolphinSchedulerDolphinScheduler 的定位是大数据工作流调度。通过把大数据和工作流做了重点标注. 从而可以知道DolphinScheduler的定位是针对于大数据体系。 DolphinScheduler是非常强大的大数据调度工具,有以下一些特点:1、通过拖拽以DAG 图的方式将 Task 按照任务的依赖关系关联起来,可实时可视化监控任务的运行状态;2、支持丰富的任务类型;3、支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,同时支持失败重试/告警、从指定节点恢复失败、Kill 任务等操作;4、支持工作流全局参数及节点自定义参数设置;5、支持集群HA,通过 Zookeeper实现 Master 集群和 Worker 集群去中心化;6、支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计;7、支持补数,并行或串行回填数据。课程会带大家构建DolphinScheduler大数据调度平台,实战讲解多种任务调度配置,会基于案例讲解DolphinScheduler使用,让大家在实战中掌握DolphinScheduler。 DolphinScheduler 发展很快 很多公司调度都切换到了DolphinScheduler,掌握DolphinScheduler调度使用势在必行,抓住新技术机遇,为跳巢涨薪做好准备。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

极客-大龙

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值