dolphinscheduler调度常见问题

已于 2023-07-14 17:15:12 修改
阅读量1k 收藏 3
点赞数
文章标签： hive 大数据 hadoop
于 2023-04-19 11:53:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Azoner/article/details/130240939
版权
  1. 问题一：每日调度随机出现以下报错，但可通过多次重试执行成功
    1. 两种报错：
      1. TTransport:SocketTimeout:Read time out

      2. SQL task prepareStatementAndBind

    1. 分别对应以下bug
      1. [Bug] [Task] SQL task prepareStatementAndBind error · Issue #10540 · apache/dolphinscheduler · GitHub
      2. [Bug] SQL task prepareStatementAndBind error · Issue #10889 · apache/dolphinscheduler · GitHub
    1. 解决方案：
      1. 加H2 Ha数据源--未果
      2. 加大连接数、连接时长--定位到后台日志看（不好定位
      3. 使用之前成熟的shell
      4. 升级为支持hive cli的3.1.0 https://dolphinscheduler.apache.org/zh-cn/docs/2.0.6/guide/upgrade
      5. 自己改源码，使其支持hive cli
Azoner
关注
海豚调度器（DolphinScheduler）生产环境问题及解决方案汇总（持续更新）
大模型大数据攻城狮的专栏
05-09 569
解决方案：工作流定义无法保存可能是由于前端UI的bug或后端服务的问题。首先，检查UI是否有错误信息，确认用户操作是否正确。然后，检查API服务器的日志，查看是否有关于工作流定义保存的错误记录。如果后端服务出现问题，可能需要调整数据库连接或优化数据库性能。对于前端问题，尝试清除浏览器缓存或使用不同的浏览器再次尝试。问题描述解决方案：工作流定义无法提交可能是由于Web界面的bug或者后端服务的问题。首先，检查Web界面是否有错误信息提示，确认用户操作是否正确。
Apache DolphinScheduler 使用常见问题总结(持续更新中)
热门推荐
samz5906的专栏
05-29 4万+
DolphinScheduler 使用常见问题总结开发环境常见问题API启动端口是8080不是12345找不到mysql驱动 开发环境常见问题 API启动端口是8080不是12345 在初始化环境中api默认配置12345， 解决办法 编辑运行配置，增加如下配置 -Dserver-api-server -Dspring.profiles.active=api 找不到mysql驱动 由于DolphinScheduler 默认使用的postgresql,默认没有引入mysql驱动依赖。需要手动修改pom。
海豚调度器3.1.8-dolphinscheduler-3.1.8-bin.tar
11-13
海豚调度器apache-dolphinscheduler-3.1.8-bin.tar，可自由下载比官网快
Dolphinscheduler 3.2.1bug记录
最新发布
guofei_ok的博客
07-30 248
问题1：
apache-dolphinscheduler的使用问题总结
weixin_45450027的博客
08-27 3185
一、租户问题 二、指定虚拟python环境的python类型任务的执行时环境变量问题 三、资源中心创建目录或者文件失败 四、由zookeeper同步引起的shutdown问题
DS调度出现 SQL task prepareStatementAndBind error 错误
zxcvbnm0207的博客
01-03 1396
又在GitHub上问题查询得到可能是 "hive.server2.thrift.max.worker.threads" and "hive.metastore.client.socket.timeout"这两个的配置问题。hive.server2.thrift.max.worker.threads：在这里我将DS阈值设置到了1000，原来是500，因为可能跑的脚本多了，资源不释放什么的，调整完成之后保存重启。在对以上两个配置调整完成之后，完美的解决了DS跑脚本出错的问题。修改配置之后，都客户以执行成功。
记录下dolphinscheduler开发datax脚本报错：: /opt/soft/python/bin/python2.7: No such file or directory
weixin_44205301的博客
09-27 857
例如：如果Python的可执行文件路径为/usr/bin/python，则将配置项修改为：python.env=/usr/bin/python；dolphinscheduler在调用python命令时，使用的是安装包自带的pyhon环境变量。详情见/conf/env/dolphinscheduler_env.sh。
Dolphinscheduler中提交DATAX任务报错
qq_51620976的博客
12-07 1966
如题，谁能帮忙解决一下，下面是报错的日志
DolphinScheduler任务调度系统 v3.2.0.zip
03-21
DolphinScheduler是一款高效、易用、可扩展的分布式工作流任务调度系统，常用于大数据处理领域的作业编排。在v3.2.0版本中，它提供了许多增强的功能和优化，以满足日益复杂的业务需求。 1. **分布式架构**： ...
apache-dolphinscheduler-3.1.4-bin
02-20
2. **任务类型支持**：DolphinScheduler支持多种任务类型，包括Shell、Java、Python、Spark、Hadoop等，覆盖了大数据处理的常见需求。 3. **资源管理**：系统允许用户定义和管理资源，如HDFS路径、数据库连接等，...
大数据技术之DolphinScheduler2.x视频教程
07-08
DolphinScheduler是一个分布式、易扩展的可视化DAG工作流任务调度平台，致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。 本套教程基于DolphinScheduler 2.0.5版本，多角度调研...
Dolphinscheduler执行MySQL任务时报错execute sql error java.lang.RuntimeException: send mail failed!
手提青灯觅佳人的博客
03-17 2786
本次测试Mysql脚本的执行情况报错如下图 解决步骤 前往github官网寻找解决方案 https://github.com/apache/incubator-dolphinscheduler/issues/3790 重点说明几个参数 以HDP部署为例也可以直接修改对应的配置文件conf/alert.properties mail.server.host=smtp.exmail.qq.com mail.smtp.ssl.trust=smtp.exmail.qq.com mail.smtp.ssl.ena
海豚调度报错[ERROR] sql task error: java.sql.SQLException: The query did not generatea result set
wufabao的博客
07-20 2524
。
sql注入
musi_m的博客
06-14 1182
sql注入1 sql注入2 防止sql注入    2.1使用prepareStatement+Bind-Variable    2.2 使用应用程序提供的转换函数    2.3 自定义函数校验 1 sql注入 SQL注入就是利用某些数据库的外部接口将用户数据插入到实际的数据库操作语言(SQL)当中,从而达到入侵数据库乃至操作系统的目的,如下实例: 1)创建用户表 create table
2.JDBC的使用--查询数据
qq_67192586的博客
04-11 457
JDBC查询
dolphinscheduler资源中心上传文档，出现tenant not exists 错误
weixin_42575593的博客
06-26 2691
dolphinscheduler资源中心上传文档，出现tenant not exists 错误。 1.出现上述错误是没有新建用户。 2.新建用户后，并在HDFS新建该用户的文件路径。以用户登陆，上传文档。
掌握数据库操作的关键技巧：深入解析prepareStatement方法
2301_77478553的博客
07-12 4518
prepareStatement是表示预编译的 SQL 语句的对象。prepareStatement方法是Java中用于准备执行SQL语句的方法。它可以避免SQL注入攻击，提高执行效率，且支持占位符，可以方便地设置参数。2.为什么要使用prepareStatementStatement与preparedStatement的区别：1. preparedStatement可以写动态参数化的查询。
2021-07-15 dolphinscheduler 执行 PL/pgSQL 语句 中使用全局变量报错
weixin_43124963的博客
07-15 1973
背景： 需要定时执行任务，不同的情况执行不同的插入语句，所以有 DO $do$ DECLARE tstr VARCHAR(14) := '${time_point}'; BEGIN IF TRUE THEN INSERT INTO test SELECT 'total_check_report_static_all', TO_TIMESTAMP(tstr,'YYYYMMddHH24miss'), CURRENT_DATE ; ELSE INSERT INTO test SELECT 'total_chec
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值