DolphinScheduler一键安装向导模式部署脚本实现方案

最新推荐文章于 2023-03-20 16:51:11 发布
最新推荐文章于 2023-03-20 16:51:11 发布
阅读量845 收藏
点赞数 1
分类专栏： DS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_26400953/article/details/114838659
版权

当前版本基于1.2.0实现，DS其他版本也可以使用相同思路完成

概述

DS安装过程中，需要的DS配置非常多，总结归类一共有六大部分。第一部分是零散的配置部分，包括DS安装路径、zk地址、部署用户等信息；第二部分主要是数据源参数配置；第三部分主要是邮件参数配置；第四部分是文件系统和yarn配置；第五部分是DS服务期部署机器配置；第六部分是DS服务环境变量配置。由于DS每个配置部分又有很多，对于部署人员来说很容易配置操作失误，不是很友好，故准备使用shell脚本方式实现向导模式。

思路：

DS的配置文件信息主要在install.sh和conf/env/.dolphinscheduler_env.sh两个脚本当中，简单来说，我们只需要提示用户输入指定参数，然后将部署人员输入的参数替换调这两个文件里面的参数，一键运行的时候使用的就是用户想要的DS配置参数了。

详细设计

流程图

流程图

流程描述
  1. 开始执行向导脚本；
  2. 进入第一部分配置；
  3. 首先检查第一个参数是否有值；
  4. 如果没有值，输入参数；如果有值，是否覆盖，覆盖的话输入参数值；
  5. 获取参数值，继续处理下一个参数，直至当前部分参数值处理结束；
  6. 当前部分处理结束，持久化参数值到配置文件，开始处理下一个部分配置，直至第六部分结束；
  7. 第六部分配置结束，持久化第六部分；
  8. 开始正式安装DS服务，执行install.sh文件；
  9. 服务端安装结束。

实现核心

检查参数原值

我们在替换参数值之前需要判断是否需要使用当前使用的参数值，所以我们需要获取以前老的参数值，这里使用了linux的awk命令，根据“"”分割参数名和参数值，然后获取老的参数值。

获取install.sh文件中zk地址，读取到zkQuorumOld参数 (install.sh:zkQuorum=“192.168.xx.xx:2181,192.168.xx.xx:2181,192.168.xx.xx:2181”)
eval $(awk -F"\"" '{if($1~/zkQuorum=/) printf ("zkQuorumOld=%s",$2)}' ./install.sh)
输入新的参数值

我们需要提示用户输入新的参数值 或者使用老的参数值，这个时候可以使用linux read命令。

读取用户zk地址输入demo
read -p "1.1 原Zookeeper地址为'${zkQuorumOld}', 回车使用原地址, 为空时使用默认地址(localhost:2181), 请输入Zookeeper地址 :" zkQuorum
是否替换判断：

如果输入参数为空，并且老的参数也为空，那么使用默认值为“localhost:2181”，如果输入值为空，老的参数不为空，使用老的参数，如果输入值不为空，使用输入值。

if [ -z "${zkQuorum}" -a -z "${zkQuorumOld}" ];then
        zkQuorum="localhost:2181"
    elif [ -z "${zkQuorum}" -a -n "${zkQuorumOld}" ]; then
        zkQuorum="${zkQuorumOld}"
    fi
替换文件的原值

获取到最终的的参数值之后，需要替换掉原文件的值，最后用用户配置的参数去实际运行。这个时候可以使用linux的sed命令完成目标。

sed -i ${txt} "79s#zkQuorum=.*#zkQuorum=\"${zkQuorum}\"#g" ./install.sh

结束

我们替换完成参数之后直接执行sh install.sh即可完成DS项目的最后一步安装工作。
使用DS服务一键部署脚本，再也不用担心配置错误导致任务运行失败啦！

参考：

  1. Linux awk命令；
  2. Linux sed命令；
  3. Linux read命令

附完整脚本

setup.sh

#!/bin/bash

#To be compatible with MacOS and Linux
txt=""
if [[ "$OSTYPE" == "darwin"* ]]; then
    # Mac OSX
    txt="''"
elif [[ "$OSTYPE" == "linux-gnu" ]]; then
    # linux
    txt=""
elif [[ "$OSTYPE" == "cygwin" ]]; then
    # POSIX compatibility layer and Linux environment emulation for Windows
    echo "DolphinScheduler not support Windows operating system"
    exit 1
elif [[ "$OSTYPE" == "msys" ]]; then
    # Lightweight shell and GNU utilities compiled for Windows (part of MinGW)
    echo "DolphinScheduler not support Windows operating system"
    exit 1
elif [[ "$OSTYPE" == "win32" ]]; then
    echo "DolphinScheduler not support Windows operating system"
    exit 1
elif [[ "$OSTYPE" == "freebsd"* ]]; then
    # ...
    txt=""
else
    # Unknown.
    echo "Operating system unknown, please tell us(submit issue) for better service"
    exit 1
fi

function part1(){
    #Zookeeper地址，单机本机是localhost:2181，记得把2181端口带上
    eval $(awk -F"\"" '{if($1~/zkQuorum=/) printf ("zkQuorumOld=%s",$2)}' ./install.sh)
    read -p "1.1 原Zookeeper地址为'${zkQuorumOld}', 回车使用原地址, 为空时使用默认地址(localhost:2181), 请输入Zookeeper地址 :" zkQuorum
    if [ -z "${zkQuorum}" -a -z "${zkQuorumOld}" ];then
        zkQuorum="localhost:2181"
    elif [ -z "${zkQuorum}" -a -n "${zkQuorumOld}" ]; then
        zkQuorum="${zkQuorumOld}"
    fi

    #将DS安装到哪个目录，如: /opt/soft/dolphinscheduler，不同于现在的目录
    eval $(awk -F"\"" '{if($1~/installPath=/) printf ("installPathOld=%s",$2)}' ./install.sh)
    read -p "1.2 原DS安装目录为'${installPathOld}', 回车使用原安装目录, 请输入DS安装目录 :" installPath
    while true
    do
      if [ -z "${installPath}" -a  -z "${installPathOld}" ];then
          echo -e "\033[31mDS安装目录不能为空，请重新输入!\033[0m"
          continue
      elif [ -z "${installPath}" ];then
          installPath="${installPathOld}"
          break
      else
        break
      fi
    done

    #使用哪个用户部署
    eval $(awk -F"\"" '{if($1~/deployUser=/) printf ("deployUserOld=%s",$2)}' ./install.sh)
    read -p "1.3 原部署用户为'${deployUserOld}', 回车使用原部署用户,  为空时使用默认用户(dolphinscheduler), 请输入部署用户 :" deployUser

    if [ -z "${deployUser}" -a -z "${deployUserOld}" ];then
        deployUser="dolphinscheduler"
    elif [ -z "${deployUser}" -a -n "${deployUserOld}" ]; then
        deployUser="${deployUserOld}"
    fi

    #excel下载路径
    eval $(awk -F"\"" '{if($1~/xlsFilePath=/) printf ("xlsFilePathOld=%s",$2)}' ./install.sh)

    read -p "1.4 原excel下载路径为'${xlsFilePathOld}', 回车使用原路径,  为空时使用默认路径(/tmp/xls), 请输入excel下载路径 :" xlsFilePath
    if [ -z "${xlsFilePath}" -a -z "${xlsFilePathOld}" ];then
        xlsFilePath="/tmp/xls"
    elif [ -z "${xlsFilePath}" -a -n "${xlsFilePathOld}" ]; then
        xlsFilePath="${xlsFilePathOld}"
    fi

    echo -e "\033[33m第一部分通用参数配置结束!\033[0m"
    echo "程序将自动自动持久化..."
    persistPart1
    echo -e "\033[33m第一部分持久化成功!\033[0m"
}
function persistPart1() {
    sed -i ${txt} "79s#zkQuorum=.*#zkQuorum=\"${zkQuorum}\"#g" ./install.sh
    sed -i ${txt} "72s#installPath=.*#installPath=\"${installPath}\"#g" ./install.sh
    sed -i ${txt} "76s#deployUser=.*#deployUser=\"${deployUser}\"#g" ./install.sh
    sed -i ${txt} "132s#xlsFilePath=.*#xlsFilePath=\"${xlsFilePath}\"#g" ./install.sh
}

function part2(){

    eval $(awk -F"\"" '{if($1~/dbtype=/) printf ("dbtypeOld=%s",$2)}' ./install.sh)
    read -p "2.1 原数据库类型为'${dbtypeOld}', 回车使用原类型, 为空时使用默认类型(mysql), 支持mysql和postgresql, 请输入数据库类型 :" dbtype
    while true
    do
      if [ -z "${dbtype}" -a  -z "${dbtypeOld}" ];then
          dbtype="mysql"
          break
      elif [ -z "${dbtype}" ];then
          dbtype="${dbtypeOld}"
          break
      elif [ "${dbtype}" != "mysql" -a "${dbtype}" != "postgresql" ];then
        echo -e "\033[31m数据库类型只支持mysql和postgresql，请重新输入!\033[0m"
        continue
      else
        break
      fi
    done

    eval $(awk -F"\"" '{if($1~/dbhost=/) printf ("dbhostOld=%s",$2)}' ./install.sh)
    read -p "2.2 原数据库连接地址为'${dbhostOld}', 回车使用原地址, 为空时使用默认地址(localhost:3306), 请输入地址 :" dbhost
    if [ -z "${dbhost}" -a -z "${dbhostOld}" ];then
        dbhost="localhost:3306"
    elif [ -z "${dbhost}" -a -n "${dbhostOld}" ]; then
        dbhost="${dbhostOld}"
    fi


    eval $(awk -F"\"" '{if($1~/dbname=/) printf ("dbnameOld=%s",$2)}' ./install.sh)
    read -p "2.3 原数据库名为'${dbnameOld}', 回车使用原名, 为空时使用默认数据库名(dolphinscheduler), 请输入数据库名 :" dbname
    if [ -z "${dbname}" -a -z "${dbnameOld}" ];then
        dbname="dolphinscheduler"
    elif [ -z "${dbname}" -a -n "${dbnameOld}" ]; then
        dbname="${dbnameOld}"
    fi

    eval $(awk -F"\"" '{if($1~/username=/) printf ("usernameOld=%s",$2)}' ./install.sh)
    read -p "2.4 原数据库用户名为'${usernameOld}', 回车使用原用户名, 请输入数据库用户名 :" username
    while true
    do
      if [ -z "${username}" -a  -z "${usernameOld}" ];then
          echo -e "\033[31mDS数据库用户名不能为空，请重新输入!\033[0m"
          continue
      elif [ -z "${username}" ];then
          username="${usernameOld}"
          break
      else
        break
      fi
    done

    eval $(awk -F"\"" '{if($1~/passowrd=/) printf ("passowrdOld=%s",$2)}' ./install.sh)
    read -p "2.5 原数据库密码为'${passowrdOld}', 回车使用原密码, 请输入密码 :" passowrd
    if [ -z "${passowrd}" -a -n "${passowrdOld}" ]; then
        passowrd="${passowrdOld}"
    fi

    echo -e "\033[33m第二部分数据源参数配置结束!\033[0m"

    echo "程序将自动自动持久化..."
    persistPart2
    echo -e "\033[33m第二部分持久化成功!\033[0m"
}

function persistPart2() {
    sed -i ${txt} "54s#dbtype=.*#dbtype=\"${dbtype}\"#g" ./install.sh
    sed -i ${txt} "58s#dbhost=.*#dbhost=\"${dbhost}\"#g" ./install.sh
    sed -i ${txt} "61s#dbname=.*#dbname=\"${dbname}\"#g" ./install.sh
    sed -i ${txt} "64s#username=.*#username=\"${username}\"#g" ./install.sh
    sed -i ${txt} "68s#passowrd=.*#passowrd=\"${passowrd}\"#g" ./install.sh
}

function part3(){
    # 邮件配置，以qq邮箱为例
    # 邮件协议
    eval $(awk -F"\"" '{if($1~/mailProtocol=/) printf ("mailProtocolOld=%s",$2)}' ./install.sh)
    read -p "3.1 原邮件协议为'${mailProtocolOld}', 回车使用原协议,  为空时使用默认协议(SMTP), 请输入邮件协议 :" mailProtocol

    if [ -z "${mailProtocol}" -a -z "${mailProtocolOld}" ];then
        mailProtocol="SMTP"
    elif [ -z "${mailProtocol}" -a -n "${mailProtocolOld}" ]; then
        mailProtocol="${mailProtocolOld}"
    fi

    # 邮件服务地址
    eval $(awk -F"\"" '{if($1~/mailServerHost=/) printf ("mailServerHostOld=%s",$2)}' ./install.sh)
    read -p "3.2 原邮件服务地址为'${mailServerHostOld}', 回车使用原地址,  为空时使用默认地址(smtp.qq.com), 请输入邮件服务地址 :" mailServerHost

    if [ -z "${mailServerHost}" -a -z "${mailServerHostOld}" ];then
        mailServerHost="smtp.qq.com"
    elif [ -z "${mailServerHost}" -a -n "${mailServerHostOld}" ]; then
        mailServerHost="${mailServerHostOld}"
    fi
    sslTrust="${mailServerHost}"

    # 邮件邮件服务端口
    eval $(awk -F"\"" '{if($1~/mailServerPort=/) printf ("mailServerPortOld=%s",$2)}' ./install.sh)
    read -p "3.3 原邮件服务端口为'${mailServerPortOld}', 回车使用原端口,  为空时使用默认端口(25), 请输入邮件服务端口 :" mailServerPort

    if [ -z "${mailServerPort}" -a -z "${mailServerPortOld}" ];then
        mailServerPort="25"
    elif [ -z "${mailServerPort}" -a -n "${mailServerPortOld}" ]; then
        mailServerPort="${mailServerPortOld}"
    fi

    # 发送者
    eval $(awk -F"\"" '{if($1~/mailSender=/) printf ("mailSenderOld=%s",$2)}' ./install.sh)
    read -p "3.4 原邮件发送者为'${mailSenderOld}', 回车使用原发送者, 请输入邮件发送者 :" mailSender
    while true
    do
      if [ -z "${mailSender}" -a  -z "${mailSenderOld}" ];then
          echo -e "\033[31m邮件发送者不能为空，请重新输入!\033[0m"
          continue
      elif [ -z "${mailSender}" ];then
          mailSender="${mailSenderOld}"
          break
      else
        break
      fi
    done
    mailUser=${mailSender}

    # 邮箱密码
    eval $(awk -F"\"" '{if($1~/mailPassword=/) printf ("mailPasswordOld=%s",$2)}' ./install.sh)
    read -p "3.5 原邮箱密码为'${mailPasswordOld}', 回车使用原密码, 请输入邮箱密码 :" mailPassword
    while true
    do
      if [ -z "${mailPassword}" -a  -z "${mailPasswordOld}" ];then
          echo -e "\033[31m邮箱密码不能为空，请重新输入!\033[0m"
          continue
      elif [ -z "${mailPassword}" ];then
          mailPassword="${mailPasswordOld}"
          break
      else
        break
      fi
    done


    # 邮箱TLS协议设置为true，否则设置为false
    eval $(awk -F"\"" '{if($1~/starttlsEnable=/) printf ("starttlsEnableOld=%s",$2)}' ./install.sh)
    read -p "3.6 原邮箱TLS协议设置为'${starttlsEnableOld}', 回车使用原设置, 请输入邮箱TLS协议设置 :" starttlsEnable
    while true
    do
      if [ -z "${starttlsEnable}" -a  -z "${starttlsEnableOld}" ];then
          starttlsEnable="true"
          break
      elif [ -z "${starttlsEnable}" ];then
          starttlsEnable="${starttlsEnableOld}"
          if [ "${starttlsEnable}" != "true" -a "${starttlsEnable}" != "false" ];then
            echo -e "\033[31m邮箱TLS协议设置只支持true和false，请重新输入!\033[0m"
            continue
          fi
          break
      else
        break
      fi
    done

    #邮箱SSL协议设置
    if [ "${starttlsEnable}" == "true" ]; then
      sslEnable="false"
    else
      eval $(awk -F"\"" '{if($1~/sslEnable=/) printf ("sslEnableOld=%s",$2)}' ./install.sh)
      read -p "3.6.1 原邮箱SSL协议设置为'${sslEnableOld}', 回车使用原设置, 请输入邮箱SSL协议设置 :" sslEnable
      while true
      do
        if [ -z "${sslEnable}" -a -z "${sslEnableOld}" ];then
          sslEnable="true"
          break
        elif [ -z "${sslEnable}" ];then
          sslEnable="${sslEnableOld}"
          break
        else
          if [ "${sslEnable}" != "true" -a "${sslEnable}" != "false" ];then
              echo -e "\033[31m邮箱SSL协议设置设置只支持true和false，请重新输入!\033[0m"
              continue
          fi
          break
        fi
      done
    fi

    echo -e "\033[33m第三部分邮件参数配置结束!\033[0m"

    echo "程序将自动自动持久化..."
    persistPart3
    echo -e "\033[33m第三部分持久化成功!\033[0m"
}

function persistPart3() {
    sed -i ${txt} "104s#mailProtocol=.*#mailProtocol=\"${mailProtocol}\"#g" ./install.sh
    sed -i ${txt} "107s#mailServerHost=.*#mailServerHost=\"${mailServerHost}\"#g" ./install.sh
    sed -i ${txt} "124s#sslTrust=.*#sslTrust=\"${sslTrust}\"#g" ./install.sh
    sed -i ${txt} "110s#mailServerPort=.*#mailServerPort=\"${mailServerPort}\"#g" ./install.sh
    sed -i ${txt} "113s#mailSender=.*#mailSender=\"${mailSender}\"#g" ./install.sh
    sed -i ${txt} "116s#mailUser=.*#mailUser=\"${mailUser}\"#g" ./install.sh
    sed -i ${txt} "119s#mailPassword=.*#mailPassword=\"${mailPassword}\"#g" ./install.sh
    sed -i ${txt} "122s#starttlsEnable=.*#starttlsEnable=\"${starttlsEnable}\"#g" ./install.sh
    sed -i ${txt} "129s#sslEnable=.*#sslEnable=\"${sslEnable}\"#g" ./install.sh
}

function part4(){
    # 业务用到的比如sql等资源文件上传到哪里，可以设置：HDFS,S3,NONE，单机如果想使用本地文件系统，请配置为HDFS，因为HDFS支持本地文件系统；如果不需要资源上传功能请选择NONE。强调一点：使用本地文件系统不需要部署hadoop
    #文件系统类型
    eval $(awk -F"\"" '{if($1~/resUploadStartupType=/) printf ("resUploadStartupTypeOld=%s",$2)}' ./install.sh)
    read -p "4.1 原文件系统类型为'${resUploadStartupTypeOld}', 回车使用原类型,  为空时默认(NONE), 只支持HDFS/S3/NONE, 请输入类型 :" resUploadStartupType
    while true
    do
      if [ -z "${resUploadStartupType}" -a  -z "${resUploadStartupTypeOld}" ];then
        resUploadStartupType="NONE"
        break
      elif [ -z "${resUploadStartupType}" ];then
        resUploadStartupType="${resUploadStartupTypeOld}"
        break
      else
        if [ "${resUploadStartupType}" != "HDFS" -a "${resUploadStartupType}" != "S3" -a "${resUploadStartupType}" != "NONE" ];then
            echo -e "\033[31m文件系统类型只支持HDFS/S3/NONE，请重新输入!\033[0m"
            continue
        fi
        break
      fi
    done

    if [ "${resUploadStartupType}" == "HDFS" ]; then
      eval $(awk -F"\"" '{if($1~/defaultFS=/) printf ("defaultFSOld=%s",$2)}' ./install.sh)
      read -p "4.1.1 原文件系统地址为'${defaultFSOld}', 回车使用原地址, 上传HDFS的话,NameNode启用了HA,需要将hadoop的配置文件core-site.xml和hdfs-site.xml copy到conf目录,并输入namenode cluster名称(eg hdfs://{具体的ip/主机名}:8020);如果NameNode不是HA,则修改为具体的ip或者主机名即可, 为空时默认(file:///data/dolphinscheduler), 请输入文件系统地址 :" defaultFS
      if [ -z "${defaultFS}" -a -z "${defaultFSOld}" ];then
        defaultFS="file:///data/dolphinscheduler"
      elif [ -z "${defaultFS}" -a -n "${defaultFSOld}" ]; then
        defaultFS="${defaultFSOld}"
      fi
    fi

    # 如果没有使用到Ya没有使用到Yarn,保持以下默认值即可；如果ResourceManager是HA，则配置为ResourceManager节点的主备ip或者hostname,比如"192.168.xx.xx,192.168.xx.xx";如果是单ResourceManager请配置yarnHaIps=""即可
    #    read -p "4.2 请输入Yarn ip, 如果ResourceManager是HA，则配置为ResourceManager节点的主备ip或者hostname,比如'192.168.xx.xx,192.168.xx.xx';如果是单ResourceManager或rn,保持以下默认值即可；如果ResourceManager是HA，则配置为ResourceManager节点的主备ip或者hostname,比如"192.168.xx.xx,192.168.xx.xx";如果是单ResourceManager请配置yarnHaIps=""即可
    eval $(awk -F"\"" '{if($1~/yarnHaIps=/) printf ("yarnHaIpsOld=%s",$2)}' ./install.sh)
    read -p "4.2 原yarnHaIps为'${yarnHaIpsOld}', 如果ResourceManager是HA，则配置为ResourceManager节点的主备ip或者hostname,比如'192.168.xx.xx,192.168.xx.xx';如果是单ResourceManager或没有使用到Yarn, 回车置空, 请输入yarnHaIps :" yarnHaIps
    if [ -z "${yarnHaIps}" ];then
        yarnHaIps=""
    fi

    # 如果ResourceManager是HA或者没有使用到Yarn保持默认值即可；如果是单ResourceManager，请配置真实的ResourceManager主机名或者ip
    eval $(awk -F"\"" '{if($1~/singleYarnIp=/) printf ("singleYarnIpOld=%s",$2)}' ./install.sh)
    read -p "4.3 原singleYarnIp为'${singleYarnIpOld}', 如果没有使用到Yarn, 回车即可, 请输入singleYarnIp :" singleYarnIp
    if [ -z "${yarnHaIps}" ];then
        singleYarnIp="yarnIp1"
    fi

    # 资源上传根路径,支持HDFS和S3,由于hdfs支持本地文件系统，需要确保本地文件夹存在且有读写权限
    eval $(awk -F"\"" '{if($1~/hdfsPath=/) printf ("hdfsPathOld=%s",$2)}' ./install.sh)
    read -p "4.4 原资源上传根路径为'${hdfsPathOld}', 资源上传支持HDFS和S3,由于hdfs支持本地文件系统，需要确保本地文件夹存在且有读写权限,回车使用原路径, 为空时使用默认地址(/data/dolphinscheduler), 请输入路径 :" hdfsPath
    if [ -z "${hdfsPath}" -a -z "${hdfsPathOld}" ];then
        hdfsPath="/data/dolphinscheduler"
    elif [ -z "${hdfsPath}" -a -n "${hdfsPathOld}" ]; then
        hdfsPath="${hdfsPathOld}"
    fi

    echo -e "\033[33m第四部分文件系统和yarn参数配置结束!\033[0m"

    echo "程序将自动自动持久化..."
    persistPart4
    echo -e "\033[33m第四部分持久化成功!\033[0m"
}

function persistPart4() {
    sed -i ${txt} "154s#resUploadStartupType=.*#resUploadStartupType=\"${resUploadStartupType}\"#g" ./install.sh
    sed -i ${txt} "159s#defaultFS=.*#defaultFS=\"${defaultFS}\"#g" ./install.sh
    sed -i ${txt} "167s#yarnHaIps=.*#yarnHaIps=\"${yarnHaIps}\"#g" ./install.sh
    sed -i ${txt} "170s#singleYarnIp=.*#singleYarnIp=\"${singleYarnIp}\"#g" ./install.sh
    sed -i ${txt} "174s#hdfsPath=.*#hdfsPath=\"${hdfsPath}\"#g" ./install.sh
}

function part5() {
    # 在哪些机器上部署DS服务，本机选localhost
    eval $(awk -F"\"" '{if($1~/ips=/) printf ("ipsOld=%s",$2)}' ./install.sh)
    read -p "5.1 原部署DS服务的机器ips'${ipsOld}', 回车使用原ips, 为空时默认(localhost), 请输入DS服务的机器ips :" ips
    if [ -z "${ips}" -a -z "${ipsOld}" ];then
      ips="localhost"
    elif [ -z "${ips}" -a -n "${ipsOld}" ]; then
      ips="${ipsOld}"
    fi

    # master服务部署在哪台机器上
    eval $(awk -F"\"" '{if($1~/masters=/) printf ("mastersOld=%s",$2)}' ./install.sh)
    read -p "5.2 原部署master服务机器ips'${mastersOld}', 回车使用原ips, 为空时默认(localhost), 请输入master服务机器ips :" masters
    if [ -z "${masters}" -a -z "${mastersOld}" ];then
      masters="localhost"
    elif [ -z "${masters}" -a -n "${mastersOld}" ]; then
      masters="${mastersOld}"
    fi

    # worker服务部署在哪台机器上
    eval $(awk -F"\"" '{if($1~/workers=/) printf ("workersOld=%s",$2)}' ./install.sh)
    read -p "5.3 原部署worker服务机器ips'${workersOld}', 回车使用原ips, 为空时默认(localhost), 请输入worker服务机器ips :" workers
    if [ -z "${workers}" -a -z "${workersOld}" ];then
      workers="localhost"
    elif [ -z "${workers}" -a -n "${workersOld}" ]; then
      workers="${workersOld}"
    fi

    # 报警服务部署在哪台机器上
    eval $(awk -F"\"" '{if($1~/alertServer=/) printf ("alertServerOld=%s",$2)}' ./install.sh)
    read -p "5.4 原部署报警服务机器ip'${alertServerOld}', 回车使用原ips, 为空时默认(localhost), 请输入报警服务机器ip :" alertServer
    if [ -z "${alertServer}" -a -z "${alertServerOld}" ];then
      alertServer="localhost"
    elif [ -z "${alertServer}" -a -n "${alertServerOld}" ]; then
      alertServer="${alertServerOld}"
    fi

    # 后端api服务部署在哪台机器上
    eval $(awk -F"\"" '{if($1~/apiServers=/) printf ("apiServersOld=%s",$2)}' ./install.sh)
    read -p "5.5 原部署后端api服务机器ip'${apiServersOld}', 回车使用原ips, 为空时默认(localhost), 请输入后端api机器ip :" apiServers
    if [ -z "${apiServers}" -a -z "${apiServersOld}" ];then
      apiServers="localhost"
    elif [ -z "${apiServers}" -a -n "${apiServersOld}" ]; then
      apiServers="${apiServersOld}"
    fi

    echo -e "\033[33m第五部分DS服务部署机器配置结束!\033[0m"

    echo "程序将自动自动持久化..."
    persistPart5
    echo -e "\033[33m第五部分持久化成功!\033[0m"
}

function persistPart5() {
    sed -i ${txt} "83s#ips=.*#ips=\"${ips}\"#g" ./install.sh
    sed -i ${txt} "88s#masters=.*#masters=\"${masters}\"#g" ./install.sh
    sed -i ${txt} "92s#workers=.*#workers=\"${workers}\"#g" ./install.sh
    sed -i ${txt} "96s#alertServer=.*#alertServer=\"${alertServer}\"#g" ./install.sh
    sed -i ${txt} "100s#apiServers=.*#apiServers=\"${apiServers}\"#g" ./install.sh
}

function part6() {
  # HADOOP_HOME
    ENV_PATH=""
    read -p "6.1 请输入HADOOP_HOME环境变量，不需要请按回车键进入下一项 :" HADOOP_HOME
    if [ -n "${HADOOP_HOME}" ];then
        ENV_PATH="\$HADOOP_HOME/bin:"
    fi

    # HADOOP_CONF_DIR
    read -p "6.2 请输入HADOOP_CONF_DIR目录，不需要请按回车键进入下一项 :" HADOOP_CONF_DIR

    # SPARK_HOME1
    read -p "6.3 请输入SPARK_HOME1环境变量，不需要请按回车键进入下一项 :" SPARK_HOME1
    if [ -n "${SPARK_HOME1}" ];then
        ENV_PATH=${ENV_PATH}"\$SPARK_HOME1/bin:"
    fi

    # SPARK_HOME2
    read -p "6.4 请输入SPARK_HOME2环境变量，不需要请按回车键进入下一项 :" SPARK_HOME2
    if [ -n "${SPARK_HOME2}" ];then
        ENV_PATH=${ENV_PATH}"\$SPARK_HOME2/bin:"
    fi

    # PYTHON_HOME
    read -p "6.5 请输入PYTHON_HOME环境变量，不需要请按回车键进入下一项 :" PYTHON_HOME
    if [ -n "${PYTHON_HOME}" ];then
        ENV_PATH=${ENV_PATH}"\$PYTHON_HOME:"
    fi

    # JAVA_HOME
    while true
    do
      read -p "6.6 请输入JAVA_HOME环境变量 :" JAVA_HOME
      if [ -z "${JAVA_HOME}" ];then
          echo -e "\033[31mjava环境变量不能为空，请重新输入!\033[0m"
          continue
      else
          ENV_PATH=${ENV_PATH}"\$JAVA_HOME/bin:"
          break
      fi
    done

    # HIVE_HOME
    read -p "6.7 请输入HIVE_HOME环境变量，不需要请按回车键进入下一项 :" HIVE_HOME
    if [ -n "${HIVE_HOME}" ];then
        ENV_PATH=${ENV_PATH}"\$HIVE_HOME/bin:"
    fi

    # FLINK_HOME
    read -p "6.8 请输入FLINK_HOME环境变量，不需要请按回车键结束 :" FLINK_HOME
    if [ -n "${FLINK_HOME}" ];then
        ENV_PATH=${ENV_PATH}"\$FLINK_HOME/bin:"
    fi
    ENV_PATH=${ENV_PATH}"\$PATH"
    echo "程序将自动自动持久化..."
    persistPart6
    echo -e "\033[33m第六部分持久化成功!\033[0m"
}

function persistPart6() {
  if [ -n "${HADOOP_HOME}" ]; then
      sed -i ${txt} "s#.*export HADOOP_HOME=.*#export HADOOP_HOME=${HADOOP_HOME}#g" ./conf/env/.dolphinscheduler_env.sh
  else
      sed -i ${txt} "s#.*export HADOOP_HOME=.*#\#export HADOOP_HOME=${HADOOP_HOME}#g" ./conf/env/.dolphinscheduler_env.sh
  fi
  if [ -n "${HADOOP_CONF_DIR}" ]; then
      sed -i ${txt} "s#.*export HADOOP_CONF_DIR=.*#export HADOOP_CONF_DIR=${HADOOP_CONF_DIR}#g" ./conf/env/.dolphinscheduler_env.sh
  else
      sed -i ${txt} "s#.*export HADOOP_CONF_DIR=.*#\#export HADOOP_CONF_DIR=${HADOOP_CONF_DIR}#g" ./conf/env/.dolphinscheduler_env.sh
  fi

  if [ -n "${SPARK_HOME1}" ]; then
      sed -i ${txt} "s#.*export SPARK_HOME1=.*#export SPARK_HOME1=${SPARK_HOME1}#g" ./conf/env/.dolphinscheduler_env.sh
  else
      sed -i ${txt} "s#.*export SPARK_HOME1=.*#\#export SPARK_HOME1=${SPARK_HOME1}#g" ./conf/env/.dolphinscheduler_env.sh
  fi
  if [ -n "${SPARK_HOME2}" ]; then
      sed -i ${txt} "s#.*export SPARK_HOME2=.*#export SPARK_HOME2=${SPARK_HOME2}#g" ./conf/env/.dolphinscheduler_env.sh
  else
      sed -i ${txt} "s#.*export SPARK_HOME2=.*#\#export SPARK_HOME2=${SPARK_HOME2}#g" ./conf/env/.dolphinscheduler_env.sh
  fi

  if [ -n "${PYTHON_HOME}" ]; then
      sed -i ${txt} "s#.*export PYTHON_HOME=.*#export PYTHON_HOME=${PYTHON_HOME}#g" ./conf/env/.dolphinscheduler_env.sh
  else
      sed -i ${txt} "s#.*export PYTHON_HOME=.*#\#export PYTHON_HOME=${PYTHON_HOME}#g" ./conf/env/.dolphinscheduler_env.sh
  fi

  sed -i ${txt} "s#export JAVA_HOME=.*#export JAVA_HOME=${JAVA_HOME}#g" ./conf/env/.dolphinscheduler_env.sh

  if [ -n "${HIVE_HOME}" ]; then
      sed -i ${txt} "s#.*export HIVE_HOME=.*#export HIVE_HOME=${HIVE_HOME}#g" ./conf/env/.dolphinscheduler_env.sh
  else
      sed -i ${txt} "s#.*export HIVE_HOME=.*#\#export HIVE_HOME=${HIVE_HOME}#g" ./conf/env/.dolphinscheduler_env.sh
  fi
  if [ -n "${FLINK_HOME}" ]; then
      sed -i ${txt} "s#.*export FLINK_HOME=.*#export FLINK_HOME=${FLINK_HOME}#g" ./conf/env/.dolphinscheduler_env.sh
  else
      sed -i ${txt} "s#.*export FLINK_HOME=.*#\#export FLINK_HOME=${FLINK_HOME}#g" ./conf/env/.dolphinscheduler_env.sh
  fi

  sed -i ${txt} "s#export PATH=.*#export PATH=${ENV_PATH}#g" ./conf/env/.dolphinscheduler_env.sh
}

function main(){
	echo "Welcome to dolphinscheduler deployment script!"

  echo "第一部分 —— DS通用参数配置："
  part1

  # 数据源参数配置：
  echo "第二部分 —— 数据源参数配置："
  part2

  echo "第三部分 —— 邮件参数配置："
  part3

  echo "第四部分 —— 文件系统和yarn配置："
  part4

  echo "第五部分 —— DS服务部署机器配置："
  part5

  echo "第六部分 —— DS服务环境变量配置，不存在的请直接回车："
  part6

  sh install.sh
}

main
游语
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
dolphinscheduler2.X的安装（亲测有效）
默主归沙的博客
06-25 808
安装 1、环境 2、初始化元数据库(打开mysql) 下面在mysql中创建数据库，新增用户，授权 注意 3、设置小海豚的配置 安装包链接：https://pan.baidu.com/s/1VLvMzOl-1c2e4VxNDxkkIQ?pwd=mzrh 提取码：mzrh –来自百度网盘超级会员V2的分享把安装包和mysql驱动扔到服务器上 注意： 最重要的步骤 4、初始化数据库 初始化之前，mysql的驱动包一定要放在lib目录下！！！三台机器的zookeeper一定要打开（如果只打开一台不会
dolphinscheduler执行指定机器上的shell脚本
LZX的博客
03-23 5546
问题描述： dolphinscheduler集群模式搭建完成后生成默认worker分组 而我想跑一个写好的shell脚本，shell脚本位置在某一台机器上，如果用default worker分组运行某节点任务，dolphinscheduler会在这三台机器上随机指派一台机器运行，就会找不到想要运行的shell脚本。 解决办法 在所需跑脚本的机器上创建单独的worker分组。 修改指定机器的配置文件，自定义一个worker分组名称 vim /opt/soft/dolphinscheduler/con
向导式的部署，让所有管理员都会用的网管软件
weixin_33785972的博客
06-29 177
随着信息化建设的飞速发展，各个行业，企事业单位都加快了信息建设的步伐，从开始的硬件设备采购，到应用系统的有效整合，有限的人力资源开始管理越来越多的系统和业务应用，特别是当应用系统和业务系统对企业的生产和运营越来越重要，任何的业务系统中断和性能问题，都会给管理者带来非常严重的影响。于是，企业开始寻找适合自身使用的网络管理软件平台，但是通过试用后就会发现，绝大部分的网络管理软件使...
Apache DophinScheduler 定时调度Python脚本
修破立生
03-20 757
本文通过定时调度Python的例子演示了Apache DophinScheduler 的基本操作： * 创建租户 * 指定用户的租户 * 创建Python环境 * 创建项目 * 创建工作流 * 上线项目 * 设置调度时间 * 上线定时管理 * 查看日志
dolphinscheduler如何执行脚本
qq_42672132的博客
08-12 2188
一、上传脚本 将需要执行的脚本上传到资源中心 备注：创建文件夹/上传文件需要使用别的账号登录。admin账户默认没有租户。 二、创建工作流 在资源这里选择需要的脚本，也可以全选。 注意：这里点击哪个资源，哪个资源就会被取消勾选。 三、执行工作流 上线执行即可 执行完，看工作流实例，里面有没有变绿色。 如果报错，就去看看日志哪里出了问题 ...
centos 一键安装cacti1.2.22脚本以及软件
09-20
本文将详细介绍如何使用一键安装脚本来简化这个过程。 首先，`auto_cacti1.2.22`脚本是为CentOS设计的，旨在自动化安装Cacti 1.2.22版本。这个脚本通常会包含以下步骤： 1. **系统更新**：确保系统是最新的，以...
jdk1.8安装包+一键设置jdk环境变量脚本
11-05
在本压缩包中，我们重点关注的是JDK1.8版本的安装以及如何通过提供的脚本来一键设置环境变量。 JDK1.8是Oracle公司发布的Java开发工具的第8个主要版本，它引入了许多重要的新特性，如Lambda表达式、方法引用、默认...
Mysql一键安装.zip
08-13
总的来说，"Mysql一键安装.zip"为用户提供了一个快速部署MySQL的途径，让数据库管理变得更为轻松。但在享受其便利的同时，也要理解其可能带来的局限性，适时进行必要的定制和安全优化。对于想要深入了解MySQL的用户...
mysql8离线脚本一键安装
最新发布
12-26
3. 在安装向导中选择自定义安装，确保勾选“MySQL Server”和其他你需要的组件（如MySQL Workbench、Connector/J等）。 4. 配置数据库参数，例如设置root用户的密码，选择存储引擎等。 5. 完成安装。 对于Linux用户...
spark Software Components架构图及Task Scheduler架构
08-03
NULL 博文链接：https://coolsunchen.iteye.com/blog/2002207
DolphinScheduler 能用 Python 脚本编排工作流了！PyDolphinScheduler 简介与使用演示
Apache DolphinScheduler开源社区
11-07 4971
点亮⭐️Star · 照亮开源之路重要功能介绍2.0.5 版本更新之后，Apache DolphinScheduler 新增了 Python API 功能，用户可以通过 Python 脚本编排工作流，最后实现工作流的创建、更新、调度等操作，这给 Python 用户带来了很多便利。Apache DolphinScheduler 是一个分布式、高扩展性的可视化开源工作流任务调度框架，适用于企业级...
DolphinScheduler升级部署简化思路及脚本实现 (1.2.1版本 其他版本需要适应性修改)
游语
03-02 779
抛出问题 为啥不用jenkins部署？ ds可以用jenkins部署吗？那肯定是可以的，那我们为啥不用jenkins部署呢？ • 消耗jenkins机器性能。ds依赖包比较多，打包的时候会将所有的包打进tar.gz文件，而我们实际开发中，基本不需要替换除了dolphinscheduler相关包之外的其他包，每次重新打包非常消耗jenkins机器性能； • DS服务器和jenkins服务器存在连通性问题。DS服务器和jenkins服务器不能都做免密，服务器密码又不好写在shell脚本中，存在安全性问题； 于是
DolphinScheduler实现python任务调用资源文件
HD0do的博客
12-05 2097
如何实现python任务调度资源文件1.首先已经上传了对应的脚本资源文件2.引用资源文件 也可以参考博客：dolphinscheduler-2.0.5 Python任务使用记录（资源栏位）
《任务调度-DolphinScheduler》Apache DolphinScheduler选型与部署安装
https://blog.datasource.space
03-20 6059
想在项目中使用DS这种调度方法，通过比对几种技术，例如：NIFI，Azkaban，Airflow。NIFI虽然做的是最完善的，但是太重了，出现问题之后就需要用源码定位费劲，维护/二次开发成本高。AirFolw是Python写的，公司里大部分是Java体系和Scala体系，所以就放弃了。Apache DolphinScheduler，为Apache的开源项目，简称DS，中文名为“小海豚调度”(海豚聪明，人性化，又左右脑可相互换班，终生不用睡觉)。
DolphinScheduler 3.0安装及使用
元元的李树专栏
08-24 6017
DolphinScheduler 3.0版本的安装教程
DolphinScheduler执行shell脚本方法总结
石榴姐yyds
04-22 7392
目录 1 上传脚本到资源中心 2 创建工作流 3 修改脚本 4 上线执行工作流 5 小 结 1 上传脚本到资源中心 2 创建工作流 注意：工作流创建完成保存时候所使用的的租户必须是linux可执行的用户，此处为root用户（也可以自己创建） 。租户在这里的概念就是linux中可使用的用户 3 修改脚本 4 上线执行工作流 可以看到工作流执行成功 5 小 结 需要注意的问题点： 创建文件必须是DS调度器所支持的文件格式，......
DolphinScheduler安装部署
AnameJL的博客
08-10 1万+
DolphinScheduler调度工具安装部署
开源任务调度平台dolphinscheduler部署及使用指南（未完）
热门推荐
weixin_44382736的博客
02-18 1万+
海豚调度dolphinscheduler-3.1.3/3.1.4安装指南，包含常见报错的解决方法
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

游语

对你有帮助，可以请我喝杯奶哦

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值