海豚调度2.0的下载及安装（单机版）
下载地址：
1、基础软件安装（需自行安装）
1)MySQL (5.7系列) : MySQL则需要JDBC Driver 5.1.47+；
2）JDK (1.8+) : 必装，请安装好后在/etc/profile下配置 JAVA_HOME 及 PATH 变量；
3）ZooKeeper (3.4.6+) ：必装；
此教程以Mysql5.7，JDK1.8，Zookeeper3.6.3为准；
4）Hadoop (2.6+) or MinIO ：选装， 如果需要用到资源上传功能，针对单机可以选择本地文件目录作为上传文件夹(此操作不需要部署Hadoop)；当然也可以选择上传到Hadoop or MinIO集群上
注意：DolphinScheduler本身不依赖Hadoop、Hive、Spark,仅是会调用他们的Client，用于对应任务的运行。
2、上传、解压
[root@server programs]# mkdir ./dolphinscheduler
[root@server programs]# cd ./dolphinscheduler
# 解压
[root@server software]# tar -zxvf apache-dolphinscheduler-2.0.0-alpha-bin.tar.gz -C /home/programs/dolphinscheduler/
# 重命名
[root@server dolphinscheduler]# mv apache-dolphinscheduler-2.0.0-alpha-bin/ dolphinscheduler-2.0.0
3、创建部署用户并赋予目录操作权限
1）创建部署用户，并且一定要配置sudo免密。以创建dolphinscheduler用户为例
# 创建用户需使用root登录
useradd dolphinscheduler
# 添加密码
echo "dolphinscheduler" | passwd --stdin dolphinscheduler
# 配置sudo免密
sed -i '$adolphinscheduler ALL=(ALL) NOPASSWD: NOPASSWD: ALL' /etc/sudoers
sed -i 's/Defaults requirett/#Defaults requirett/g' /etc/sudoers
# 修改目录权限，使得部署用户对dolphinscheduler-bin目录有操作权限
[root@server dolphinscheduler-2.0.0]# chown -R dolphinscheduler:dolphinscheduler ./bin
[root@server dolphinscheduler-2.0.0]# chown -R dolphinscheduler:dolphinscheduler ./conf
注意：
(1) 因为任务执行服务是以 sudo -u {linux-user} 切换不同linux用户的方式来实现多租户运行作业，所以部署用户需要有 sudo 权限，而且是免密的。初学习者不理解的话，完全可以暂时忽略这一点;
(2) 如果发现/etc/sudoers文件中有"Default requiretty"这行，也请注释掉;
(3) 如果用到资源上传的话，还需要给该部署用户分配操作本地文件系统或者HDFS或者MinIO的权限。
4、ssh免密配置
1）切换到部署用户并配置ssh本机免密登录
su dolphinscheduler
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
注意：正常设置后，dolphinscheduler用户在执行命令ssh localhost 是不需要再输入密码的.
5、数据库初始化
1）进入数据库，默认数据库是PostgreSQL，如选择MySQL的话，后续需要添加mysql-connector-java驱动包到DolphinScheduler的lib目录下
mysql -uroot -p
2）进入数据库命令行窗口后，执行数据库初始化命令，设置访问账号和密码。特别注意{user}和{password}需要替换为具体的数据库用户名和密码
mysql> CREATE DATABASE dolphinscheduler2 DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
mysql> GRANT ALL PRIVILEGES ON dolphinscheduler2.* TO 'zd3'@'%' IDENTIFIED BY 'zd3123';
mysql> GRANT ALL PRIVILEGES ON dolphinscheduler2.* TO 'zd3'@'localhost' IDENTIFIED BY 'zd3123';
mysql> flush privileges;
3）创建表和导入基础数据
1>修改 conf 目录下 datasource.properties 中的下列配置
[dolphinscheduler@server conf]$ vim datasource.properties
2>如果选择 MySQL，请注释掉 PostgreSQL 相关配置(反之同理), 还需要手动添加 mysql-connector-java 驱动 jar 包到 lib 目录下，这里下载的是mysql-connector-java-5.1.47.jar，然后正确配置数据库连接相关信息。
# datasource configuration
# spring.datasource.driver-class-name=org.postgresql.Driver
# spring.datasource.url=jdbc:postgresql://127.0.0.1:5432/dolphinscheduler
# spring.datasource.username=root
# spring.datasource.password=root
# mysql example
spring.datasource.driver-class-name=com.mysql.jdbc.Driver
spring.datasource.url=jdbc:mysql://192.168.100.10:3306/dolphinscheduler2?useUnicode=true&characterEncoding=UTF-8
spring.datasource.username=zd3
spring.datasource.password=zd3123
3>修改并保存完后，执行 script 目录下的创建表及导入基础数据脚本
sh script/create-dolphinscheduler.sh
注意: 如果执行上述脚本报 ”/bin/java: No such file or directory“ 错误，请在/etc/profile下配置 JAVA_HOME 及 PATH 变量
6、修改运行参数
1）修改 conf/env 目录下的 dolphinscheduler_env.sh 环境变量
[root@server env]# vim dolphinscheduler_env.sh
# export HADOOP_HOME=/opt/soft/hadoop
# export HADOOP_CONF_DIR=/opt/soft/hadoop/etc/hadoop
# export SPARK_HOME1=/opt/soft/spark1
# export SPARK_HOME2=/opt/soft/spark2
# export PYTHON_HOME=/opt/soft/python
export JAVA_HOME=/opt/soft/java
# export HIVE_HOME=/opt/soft/hive
# export FLINK_HOME=/opt/soft/flink
# export DATAX_HOME=/opt/soft/datax/bin/datax.py
export PATH=$HADOOP_HOME/bin:$SPARK_HOME2/bin:$PYTHON_HOME:$JAVA_HOME/bin:$HIVE_HOME/bin:$FLINK_HOME/bin:$DATAX_HOME:$PATH
注: 这一步非常重要,例如JAVA_HOME 和 PATH 是必须要配置的，没有用到的可以忽略或者注释掉；如果找不到dolphinscheduler_env.sh, 请运行 ls -a
2）将jdk软链到/usr/bin/java下(仍以 JAVA_HOME=/opt/soft/java 为例)
[root@server env]# ln -s /home/programs/jdk1.8/bin/java /usr/bin/java
3）修改一键部署配置文件 conf/config/install_config.conf中的各参数，特别注意以下参数的配置
# 这里填 mysql or postgresql
dbtype="mysql"
# 数据库连接地址
dbhost="192.168.100.10:3306"
# 数据库名
dbname="dolphinscheduler2"
# 数据库用户名，此处需要修改为上面设置的{user}具体值
username="zd3"
# 数据库密码, 如果有特殊字符，请使用\转义，需要修改为上面设置的{password}具体值
password="zd3123"
#Zookeeper地址，单机本机是localhost:2181，记得把2181端口带上
zkQuorum="192.168.100.12:2181"
#将DS安装到哪个目录，如: /opt/soft/dolphinscheduler，不同于现在的目录
installPath="/home/programs/dolphinscheduler2.0"
#使用哪个用户部署，使用第3节创建的用户
deployUser="dolphinscheduler"
# 邮件配置，以qq邮箱为例
# 邮件协议
mailProtocol="SMTP"
# 邮件服务地址
mailServerHost="smtp.qq.com"
# 邮件服务端口
mailServerPort="25"
# mailSender和mailUser配置成一样即可
# 发送者
mailSender="xxx@qq.com"
# 发送用户
mailUser="xxx@qq.com"
# 邮箱密码
mailPassword="xxx"
# TLS协议的邮箱设置为true，否则设置为false
starttlsEnable="true"
# 开启SSL协议的邮箱配置为true，否则为false。注意: starttlsEnable和sslEnable不能同时为true
sslEnable="false"
# 邮件服务地址值，参考上面 mailServerHost
sslTrust="smtp.qq.com"
# 业务用到的比如sql等资源文件上传到哪里，可以设置：HDFS,S3,NONE，单机如果想使用本地文件系统，请配置为HDFS，因为HDFS支持本地文件系统；如果不需要资源上传功能请选择NONE。强调一点：使用本地文件系统不需要部署hadoop
resourceStorageType="HDFS"
# 这里以保存到本地文件系统为例
#注：但是如果你想上传到HDFS的话，NameNode启用了HA，则需要将hadoop的配置文件core-site.xml和hdfs-site.xml放到conf目录下，本例即是放到/opt/dolphinscheduler/conf下面，并配置namenode cluster名称；如果NameNode不是HA,则修改为具体的ip或者主机名即可
defaultFS="file:///data/dolphinscheduler" #hdfs://{具体的ip/主机名}:8020
# 如果没有使用到Yarn,保持以下默认值即可；如果ResourceManager是HA，则配置为ResourceManager节点的主备ip或者hostname,比如"192.168.xx.xx,192.168.xx.xx";如果是单ResourceManager请配置yarnHaIps=""即可
# 注：依赖于yarn执行的任务，为了保证执行结果判断成功,需要确保yarn信息配置正确。
yarnHaIps="192.168.xx.xx,192.168.xx.xx"
# 如果ResourceManager是HA或者没有使用到Yarn保持默认值即可；如果是单ResourceManager，请配置真实的ResourceManager主机名或者ip
singleYarnIp="yarnIp1"
# 资源上传根路径,支持HDFS和S3,由于hdfs支持本地文件系统，需要确保本地文件夹存在且有读写权限
resourceUploadPath="/data/dolphinscheduler"
# 具备权限创建resourceUploadPath的用户
hdfsRootUser="hdfs"
#在哪些机器上部署DS服务，本机选localhost
ips="localhost"
#ssh端口,默认22
sshPort="22"
#master服务部署在哪台机器上
masters="localhost"
#worker服务部署在哪台机器上,并指定此worker属于哪一个worker组,下面示例的default即为组名
workers="localhost:default"
#报警服务部署在哪台机器上
alertServer="localhost"
#后端api服务部署在在哪台机器上
apiServers="localhost"
7、一键部署
1），切换到部署用户，执行一键部署脚本
su dolphinscheduler
sh install.sh
2)，脚本完成后，会启动以下5个服务，使用jps命令查看服务是否启动(jps为java JDK自带)
MasterServer ----- master服务
WorkerServer ----- worker服务
LoggerServer ----- logger服务
ApiApplicationServer ----- api服务
AlertServer ----- alert服务
[dolphinscheduler@server dolphinscheduler-2.0.0]$ jps
20176 AlertServer
20480 Jps
20225 ApiApplicationServer
20029 MasterServer
20077 WorkerServer
20126 LoggerServer
如果以上服务都正常启动，说明自动部署成功
部署成功后，可以进行日志查看，日志统一存放于logs文件夹内
8、登录系统
1）访问前端页面地址
海豚调度：http://192.168.100.20:12345/dolphinscheduler
账号：admin
密码：dolphinscheduler123
9、启停服务
1）一键停止集群所有服务
sh ./bin/stop-all.sh
2）一键开启集群所有服务
sh ./bin/start-all.sh
9、注意事项
（1）一定要配置好JAVA_HOME和PATH。
（2）在配置完Mysql的时候，执行完相应的建表语句，可以用可视化工具（Navicat等）连上数据库查看一下，数据库dolphinscheduler和表有没有建成功。
（3）在一键部署的时候（sh install.sh），一定要确保zookeeper是启动状态，要不然会出现拒绝连接的错误。
（4）配置文件一定要好好审查，该配置的一定要全配置上，尤其是conf/config/install_config.conf中的各参数。
1200
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
