DolphinScheduler 1.x使用经验篇及bug解决篇

最新推荐文章于 2024-06-18 16:06:43 发布

爱学习的老冰棍

最新推荐文章于 2024-06-18 16:06:43 发布

阅读量1.2k

点赞数 2

分类专栏：大数据数仓 bug 文章标签： bug hadoop hive 开源

本文链接：https://blog.csdn.net/qq_43182741/article/details/126234353

版权

大数据同时被 3 个专栏收录

15 篇文章 0 订阅

订阅专栏

bug

6 篇文章 0 订阅

订阅专栏

数仓

2 篇文章 0 订阅

订阅专栏

1.x版本基本使用

创建租户

DS里面的组合的概念对应的是Linux里面的用户概念，所以我们这里创建一个hadoop租户来对应Linux的hadoop用户
在这里插入图片描述

创建多用户

DS也可以控制用户的权限，我们可以建立不同的用户，用管理员用户来分配给不同的用户对应的资源项目等相关权限
在这里插入图片描述

创建告警组

DS支持不同的告警类型，1.3.6版本可支持的告警类型比较单一，有邮件和短信告警、钉钉和企业微信，小编这里会以qq邮箱配置一下告警

配置 install_config.conf中的alert config

# alert config
mailProtocol="SMTP"
# mail server host
mailServerHost="smtp.qq.com"

# mail server port
# note: Different protocols and encryption methods correspond to different ports, when SSL/TLS is enabled, make sure the port is correct.
mailServerPort="465"

# sender
mailSender="996371106@qq.com"

# user
mailUser="996371106@qq.com"

# sender password
# note: The mail.passwd is email service authorization code, not the email login password.
mailPassword="************"

# TLS mail protocol support
starttlsEnable="false"

# SSL mail protocol support
# only one of TLS and SSL can be in the true state.
sslEnable="true"

#note: sslTrust is the same as mailServerHost
sslTrust="smtp.qq.com"

后台添加告警组

创建数据源

数据源中心这里主要是使用sql组件的时候配合使用，使用sql组件进行取数，数据质量的校验、邮件的告警。数据源中心支持的源数据比较多
在这里插入图片描述
这里我创建了三个数据源，spark数据源是我用来跑实时（分钟级别）的报表任务的，saprk|hive数据源中心用来做数据质量校验以及取数发邮件用的，mysql的数据源是我用来做DS的调度校验用的

spark
mysql

创建资源

资源中心是我们脚本、jar包存放的地方，我们可以按照不同的层级创建不同的目录
在这里插入图片描述

创建项目及工作流

创建项目，这里小编只创建了一个项目，其实这里可以创建不同的项目进行权限的控制，每一个开发人员负责不同的项目，这样在分配时，不同的开发人员看到的页面内容是不一样的，这样就完美的对权限进行了控制。
创建工作流，创建工作流时，可以合理利用各个组件进行搭配使用。
创建依赖
定时（1.x版本的调度时间本身默认是会减一天的，所以要合理搭配脚本时间，实现离线的任务调度）
- 脚本时间参数
- 调度时间参数（1.x版本使用补数的话选择当天补数当天，因为DS默认会减一天）

在这里插入图片描述

1.x版本bug解决

1.x版本里面我是使用了1.3.6和1.3.8版本，两个版本大致上没有什么大的区别，最直观的感受是，使用sql组件取数时，1.3.8可以取数超过10w行。这里主要是我在配置1.3.8版本的时候遇到了bug及解决方案

集群：阿里emr集群
bug1：租户创建失败，报NullPointException:null
- 解决方案：这里我们使用的是阿里的emr集群，当我们配置集群模式时，需要把core-site.xml、hdfs-site.xml两个配置文件放到DS的conf目录下，但是当我们创建租户使用HadoopUtils这个方法时，它会去读取这两个配置文件，配置文件中有特殊字符它识别不了，从而导致创建租户失败，这里我们删除掉下面的配置就可以了

<name>dfs.webhdfs.rest-csrf.custom-header</name>
    <value>X-XSRF-HEADER</value>
  </property>
  <property>
    <name>dfs.client.datanode-restart.timeout</name>
    <value>30s</value>
  </property>
  <property>
    <name>dfs.http.client.retry.policy.spec</name>
    <value>10000,6,60000,10</value>
  </property>
--
    <name>dfs.datanode.handler.count</name>
    <value>30</value>
  </property>
  <property>
    <name>dfs.namenode.decommission.interval</name>
    <value>30s</value>
  </property>
  <property>
    <name>mapreduce.job.acl-view-job</name>
    <value>*</value>

bug2：dolphinscheduler资源中心上传大文件，上传一直卡住或者上传失败 org.eclipse.jetty.server.HttpChannel:[600] - /dolphinscheduler/resources/create
java.lang.OutOfMemoryError: Java heap space
- 解决方案：修改dolphinscheduler-daemon.sh中的HEAP_OPTS参数就可以了

LOG_FILE="-Dlogging.config=classpath:logback-api.xml -Dspring.profiles.active=api"
CLASS=org.apache.dolphinscheduler.api.ApiApplicationServer
HEAP_OPTS="-Xms1g -Xmx1g -Xmn512m"

bug3：获取不到yarn上的任务成功失败的状态，导致DS上的任务一直是失败的（yarn是HA的）
- 解决方案：去除掉yarnHaIps后面的配置，在singleYarnIp填上存活的yarn地址（这里是因为源码里面读取的是singleYarnIp的状态）

yarnHaIps=""
singleYarnIp="emr-header-1.cluster-11111"

然后去修改 install.sh脚本，因为本身阿里的emr集群使用knox做了保密

sed -i ${txt} "s#yarn.application.status.address.*#yarn.application.status.address=http://${singleYarnIp}:8088/ws/v1/cluster/apps/%s?user.name=hadoop#g" conf/common.properties