dolphinscheduler调度hive

找到dolphinscheduler的lib目录,移除hive*.jar

原因: 可能hive的jar包与你自己安装的jar包不同,这时需要将你自己的hive下相应的jar包放入进来。

操作命令

  • cd /opt/dolphinscheduler/lib/
  • mv hive* /tmp 这里最好是移动到tmp目录下,不要删除,删除也没关系

将自己安装的hive下的lib目录下的jar包复制到dolphinscheduler的lib目录下

需要复制的jar包,对应的命令(目录有变化自行修改)

  • cp /opt/soft/hive110/hive-common{version}.jar /opt/dolphinscheduler/lib/
  • cp /opt/soft/hive110/hive-jdbc{version}.jar /opt/dolphinscheduler/lib/
  • cp /opt/soft/hive110/hive-metastore{version}.jar /opt/dolphinscheduler/lib/
  • cp /opt/soft/hive110/hive-serde{version}.jar /opt/dolphinscheduler/lib/
  • cp /opt/soft/hive110/hive-service{version}.jar /opt/dolphinscheduler/lib/

重启dolphinscheduler

  • 进入到dolphinscheduler的bin目录cd /opt/dolphinscheduler/bin
  • 使用安装dolphinscheduler的用户重启su dolphinscheduler 这部不明白可以看看前面安装文档
  • 关闭dolphinschedulersh stop-all.sh
  • 开启dolphinschedulersh start-all.sh

最后别忘记开启hive的两个服务

  • 开启元数据服务hive --service metastore &
  • 开启beeline服务hive --service hiveserver2 &
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
Apache DolphinScheduler是一个新一代分布式大数据工作流任务调度系统,致力于“解决大数据任务之间错综复杂的依赖关系,整个数据处理开箱即用”。它以 DAG(有向无环图) 的方式将任务连接起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及 Kill任务等操作。目前已经有像IBM、腾讯、美团、360等400多家公司生产上使用。 调度系统现在市面上的调度系统那么多,比如老牌的Airflow, Oozie,Kettle,xxl-job ,Spring Batch等等, 为什么要选DolphinSchedulerDolphinScheduler 的定位是大数据工作流调度。通过把大数据和工作流做了重点标注. 从而可以知道DolphinScheduler的定位是针对于大数据体系。DolphinScheduler 发展很快 很多公司调度都切换到了DolphinScheduler,掌握DolphinScheduler调度使用势在必行,抓住新技术机遇,为跳巢涨薪做好准备。 优秀的框架都是有大师级别的人写出来的,包含了很多设计思想和技术。DolphinScheduler也不例外,它是一个非常优秀的框架,用到很多技术和设计思想,本课程会带大家深入DolphinScheduler框架源码,包括设计的思想和技术都会讲解,DolphinScheduler源码很多,会按照模块进行讲解,学习完课程后,不仅可以熟悉DolphinScheduler使用,而且可以掌握很多优秀的设计思想和技术,给自己的技术带来很大提升,为跳巢涨薪做好准备。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值