dolphinscheduler伪分布式安装

1、上传安装包

2、安装

#解压 重命名
[root@datacollection conf]# cd /opt/modules/
[root@datacollection modules]# tar -zxf apache-dolphinscheduler-2.0.6-bin.tar.gz -C /opt/installs/
[root@datacollection modules]# cd ../installs/
[root@datacollection installs]# mv apache-dolphinscheduler-2.0.6-bin/ dolphinscheduler2.0.6

3、登录MySQL数据库

版本MySQL8.0+

mysql -uroot -p登录之后，执行如下操作
#创建数据库
CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
#为新创建的数据库授权
GRANT ALL PRIVILEGES ON your_database_name.* TO 'root'@'%';

# 如果上面的指令出现了密码级别不符的报错，在mysql中执行下述语句
set global validate_password.policy=LOW;
set global validate_password.length=4;
set global validate_password.mixed_case_count=0;
set global validate_password.number_count=0;
set global validate_password.special_char_count=0;

#刷新
flush privileges;

另一种方式：

创建一个用户，设置密码：
CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY '123456';

需要设置数据库的密码规则：
set global validate_password.policy=LOW;
set global validate_password.length=4;
set global validate_password.mixed_case_count=0;
set global validate_password.number_count=0;
set global validate_password.special_char_count=0;

开始创建一个数据库：
CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

创建用户之后，赋予权限：
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%';
flush privileges;

• 上传mysql的驱动mysql-connector-java-8.0.26.jar到/opt/installs/dolphinscheduler2.0.6/lib/目录下

cp /opt/modules/mysql-connector-java-8.0.26.jar /opt/installs/dolphinscheduler2.0.6/lib/

4、配置dolphinscheduler的安装信息

切换到 /opt/installs/dolphinscheduler2.0.6/conf/config/  目录下
编辑install_config.conf 文件 ，找到对应的配置项进行修改，不要全部覆盖
# 所有填写到该属性的值，均为集群中的一份子，会在安装的过程中，同步安装到所有填写的服务器
ips="datacollection"
# 将哪些机器设置为master节点
masters="datacollection"
# 工作组的划分，实战中是根据项目进行分配的
workers="datacollection:default"
# 告警邮件的发送服务器
alertServer="datacollection"
# dolphinscheduler内部运行时的交互服务器
apiServers="datacollection"
# python运行环境的交互网关
pythonGatewayServers="datacollection"

# 将软件安装到哪个位置，一定不要和解压目录一致
installPath="/opt/installs/dolphinscheduler_installed"
# 操作hdfs的用户名
deployUser="root"
# DS运行的临时文件存放位置
dataBasedirPath="/opt/installs/dolphinscheduler_installed/tmp_data/dolphinscheduler"
# 指定安装过程中使用的java_home
javaHome="/opt/installs/jdk1.8"

#DS的元数据存放位置，需要提供一个关系型数据库
# 底层元数据库的类型
DATABASE_TYPE=${DATABASE_TYPE:-"mysql"}
# 数据库连接url配置
SPRING_DATASOURCE_URL=${SPRING_DATASOURCE_URL:-"jdbc:mysql://datacollection:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8"}
# 数据库username
SPRING_DATASOURCE_USERNAME=${SPRING_DATASOURCE_USERNAME:-"root"}
# 数据库password
SPRING_DATASOURCE_PASSWORD=${SPRING_DATASOURCE_PASSWORD:-"123456"}


# 配置注册中心，进行主从节点的信息注册，默认使用zookeeper
registryPluginName="zookeeper"
# zookeeper的地址与端口
registryServers="datacollection:2181"
# zookeeper中的主节点名，该值会在zookeeper中根目录下生成一个节点
registryNamespace="dolphinscheduler"

# 资源中心的类型 可以将hdfs作为资源中心，把要执行shell放入到hdfs，任何一个有hdfs客户端的服务器都可以获取到shell
resourceStorageType="HDFS"
# 上传到hdfs上时，要指定hdfs目录，不存在的情况下，会自动创建
resourceUploadPath="/dolphinscheduler"
# hdfs的主入口
defaultFS="hdfs://datacollection:8020"  

# Yarn 的web服务界面端口号 
resourceManagerHttpAddressPort="8088"
# 如果yarn是HA高可用模式，则直接将所有的master节点填写在下方，用逗号分割即可，不是高可用则值填空""
yarnHaIps=""
# 如果yarn是单点模式，该处需要改为服务器的hostname
singleYarnIp="datacollection"

# hdfs文件系统的管理员用户
hdfsRootUser="root"

5、修改环境变量配置文件

切换/opt/installs/dolphinscheduler2.0.6/conf/env ，修改dolphinscheduler_env.sh
# 该文件主要用于指定dolphinscheduler运行时的环境变量
export HADOOP_HOME=/opt/installs/hadoop3.3.1
export HADOOP_CONF_DIR=/opt/installs/hadoop3.3.1/etc/hadoop
#export SPARK_HOME1=/opt/soft/spark1
#export SPARK_HOME2=/opt/soft/spark2
#export PYTHON_HOME=/opt/soft/python
export JAVA_HOME=/opt/installs/jdk1.8
export HIVE_HOME=/opt/installs/hive3.1.2
#export FLINK_HOME=/opt/soft/flink
export DATAX_HOME=/opt/installs/datax

#export PATH=$HADOOP_HOME/bin:$SPARK_HOME1/bin:$SPARK_HOME2/bin:$PYTHON_HOME/bin:$JAVA_HOME/bin:$HIVE_HOME/bin:$FLINK_HOME/bin:$DATAX_HOME/bin:$PATH
export PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$HIVE_HOME/bin:$DATAX_HOME/bin:$PATH

6、初始数据库中的表和数据

#切换到如下目录
/opt/installs/dolphinscheduler2.0.6/script
#执行sql脚本
./create-dolphinscheduler.sh

在MySQL中检查一下是否有dolphinscheduler数据库和表

7、启动服务

zkServer.sh start #启动zk
start-dfs.sh   #启动hdfs
start-yarn.sh  #启动yarn

8、一键安装

切换到/opt/installs/dolphinscheduler2.0.6目录下，执行
sh install.sh

安装成功后，查看进程

后期可以通过bin/start-all.sh 或者 bin/stop-all.sh 启停ds

9、访问

1.登录网址
http://datacollection:12345/dolphinscheduler
2.输入用户名和密码
用户名：admin
密码: dolphinscheduler123