DolphinScheduler总结(包含告警邮箱发送者昵称设置)

DolphinScheduler总结(包含告警邮箱发送者昵称设置)

一、DolphinScheduler是什么？

简介：

https://dolphinscheduler.apache.org/zh-cn/docs/About_DolphinScheduler/About_DolphinScheduler.html

二、DolphinScheduler的安装

各历史版本文档：

https://dolphinscheduler.apache.org/zh-cn/docs/latest/user_doc/architecture/listdocs.html

1.3.9集群部署（官网描述很详细）

https://dolphinscheduler.apache.org/zh-cn/docs/1.3.9/user_doc/cluster-deployment.html

三、DolphinScheduler的使用

快速开始：

https://dolphinscheduler.apache.org/zh-cn/docs/latest/user_doc/guide/quick-start.html

用户手册：

https://dolphinscheduler.apache.org/zh-cn/docs/1.3.9/user_doc/system-manual.html

元数据文档：

https://dolphinscheduler.apache.org/zh-cn/docs/1.3.9/user_doc/metadata-1.3.html

等等…

告警组相关表

t_ds_alertgroup	-- 告警组
t_ds_relation_user_alertgroup	-- 用户关联告警组
t_ds_schedules --流程定时调度(有流程调度配置的告警组信息)

一个用户负责若干工作流，一个用户分配一个告警组，其告警组内也可以加入直属领导。当有人事调动时，可修改告警组内成员进行交接。另外，告警组名称也可以修改，不影响告警组工作。因为告警和工作流调度是依靠warning_group_id(告警组id)关联的。

四、踩坑记录

(一) 想并行运行2.0.0版本和1.2.0版本， 1.2.0运行时启动2.0.0，2.0.0没有在Zookeeper注册新节点。

Github上相同问题的issue：

https://github.com/apache/dolphinscheduler/issues/6736

In 2.0, you need to configure registry.namespace=XXXXX

2.0.0版本需要在conf/registry.properties文件中增加配置：registry.namespace=XXXXX（XXXXX为想配置的值）。

(二) 2.0.0版本Web UI界面一直处于加载中

发现2.0.0版本的实现直接写死返回null。

因为当时（2021-11-11）2.0.0版本为alpha版(内部测试版)，尚不完善。

建议使用1.3.9。

-- 开源软件
alpha版：内部测试版。α是希腊字母的第一个，表示最早的版本，一般用户不要下载这个版本，这个版本包含很多BUG，功能也不全，主要是给开发人员和 测试人员测试和找BUG用的。

beta版：公开测试版。β是希腊字母的第二个，顾名思义，这个版本比alpha版发布得晚一些，主要是给“部落”用户和忠实用户测试用的，该版本任然存 在很多BUG，但是相对alpha版要稳定一些。这个阶段版本的软件还会不断增加新功能。如果你是发烧友，可以下载这个版本。

rc版：全写：Release Candidate（候选版本），该版本又较beta版更进一步了，该版本功能不再增加，和最终发布版功能一样。这个版本有点像最终发行版之前的一个类似 预览版，这个的发布就标明离最终发行版不远了。作为普通用户，如果你很急着用这个软件的话，也可以下载这个版本。

stable版：稳定版。在开源软件中，都有stable版，这个就是开源软件的最终发行版，用户可以放心大胆的用了。

(三) 配置DolphinScheduler使用的MySQL数据库的用户权限时，注意修改为自己的数据库名称

grant 权限1,权限2,…权限n on 数据库名称.表名称 to 用户名@用户地址 identified by ‘连接口令’;
-- 注意：数据库名不一样记得改

GRANT ALL PRIVILEGES ON dolphinscheduler_v139.* TO 'dolphin139'@'%' IDENTIFIED BY 'dolphin139';

GRANT ALL PRIVILEGES ON dolphinscheduler_v139.* TO 'dolphin139'@'localhost' IDENTIFIED BY 'dolphin139';

(四) 安装版本遗留问题，租户问题

问题描述：DS调度执行shell脚本不能创建文件目录

原因：因为之前该服务器上安装过DolphinScheduler 2.0.0版本，该目录父目录已经被创建，但是2.0.0安装部署用户为root，该1.3.9版本的部署用户为dolphin，属于Linux用户权限问题。

(五) zk监控页面节点自建状态为黄色背景白色叹号

参考：

https://blog.csdn.net/weixin_52918377/article/details/116226860

https://issues.apache.org/jira/browse/ZOOKEEPER-2764

在 zk 服务端 zoo.cfg文件里配置：4lw.commands.whitelist=* 然后重启 zk 服务。

(六) 无法创建租户

查日志发现为Hadoop连接拒绝，因为config/install_config.conf中配置的defaultFS配置的值NameNode端口错写为8020，而实际应为9820。修改后分发文件，再重新执行install.sh安装部署。

(七) 连接Hive客户端一直Connecting

Hive安装目录少配置beeline连接的用户名和密码。

(八) 邮箱主机名mailServerHost记得修改为对应的。

注意：qq配qq的，163配163的。

(九) 阿里云端口25被禁用

本人配置的是163邮箱，就修改端口为SSL的465了，然后修改邮箱相关的协议配置：

# TLS mail protocol support
starttlsEnable="false"

# SSL mail protocol support
# only one of TLS and SSL can be in the true state.
sslEnable="true"

#note: sslTrust is the same as mailServerHost
sslTrust="smtp.163.com"

(十) 配置邮件发送者昵称

参考博客：https://blog.csdn.net/zengdeqing2012/article/details/50109011

参考上述博客内容和查看源码，发现源码new InternetAddress时直接传入了配置的邮箱地址，由此，我们可以将 邮箱昵称转码后和邮箱地址拼接，配置到配置文件中，即可实现告警邮件发送后，收件方显示发送者昵称的效果。

具体操作为：在设置发送地址时，可以用工具类MimeUtility的encodeText(“昵称”)方法获取昵称转码后的字符串，然后和邮箱拼接( 示例：nick + “<xxx.163.com>”)，然后配置到 $DolphinScheduler_Home/conf/alert.properties 和 $DolphinScheduler_Home/conf/config/install_config.sh配置文件中。

手动给昵称转码的代码实现：

    <!-- pom依赖 -->
	<dependencies>
        <dependency>
            <groupId>javax.mail</groupId>
            <artifactId>mail</artifactId>
            <version>1.4.7</version>
        </dependency>
    </dependencies>

public class NickEncodeText {
    public static void main(String[] args) {
        String nick="";
        try {
            nick=javax.mail.internet.MimeUtility.encodeText("大数据调度巡察官");
        } catch (UnsupportedEncodingException e) {
            e.printStackTrace();
        }
        System.out.println(nick); 
        // 输出：	 =?UTF-8?B?5aSn5pWw5o2u6LCD5bqm5beh5a+f5a6Y?=
        // DolphinScheduelr中MAIL_SENDER应配置为：=?UTF-8?B?5aSn5pWw5o2u6LCD5bqm5beh5a+f5a6Y?=<xxx.163.com>
    }
}

DolphinScheduler V1.3.9版本源码如下

DS有四种邮件展示类型：表格、文本、附件、表格附件

发送表格TABLE或文本TEXT类型邮件

Email类中：

Email类中：

附件ATTACHMENT及表格附件TABLEATTACHMENT类型

(十一) sqoop调度节点的使用

参数key需要加双横杠 –

参数value需要加单引号 ‘’，（其实value没有空格的话，应该不用单引号也行，没测过，有兴趣可以测一下）

(十二) 使用shell脚本调资源中心脚本报文件不存在

使用sh执行脚本文件时，需要加文件在资源中心的目录层级，比如：sh ods/xxxxxx.sh

不能只写文件名；

五、推荐相关博客

《拥抱开源-DolphinScheduler有奖征稿》

https://marketing.csdn.net/p/905935e3b6d318176d0f95a314413ed8?utm_source=2127431736

《Apache DolphinScheduler 共同成长历程使用心得》

https://blog.csdn.net/m0_46571744/article/details/117850928?spm=1001.2014.3001.5501