使用阿里云搭建DataLight平台

Aly_

已于 2024-11-06 20:46:30 修改

阅读量646

点赞数 22

分类专栏：大数据技术文章标签：大数据 hadoop linux mysql 阿里云云计算

于 2024-11-06 20:46:01 首次发布

本文链接：https://blog.csdn.net/weixin_53709379/article/details/143579193

版权

大数据技术专栏收录该内容

14 篇文章 0 订阅

订阅专栏

DataLight 官网：

http://datalight.boundivore.cn/

一、购买阿里云抢占式资源服务器

购买三台，第一台配置高一些，4 核 16G 内存，另外两个可以 2 核 8G 内存即可

购买成功：

二、修改一下配置

1、修改实例名称

2、远程连接

3、修改主机名

sh /opt/datalight/assistant/scripts/init-hostname.sh node01
sh /opt/datalight/assistant/scripts/init-hostname.sh node02
sh /opt/datalight/assistant/scripts/init-hostname.sh node03

4、修改 hosts 映射文件

vi /etc/hosts

172.17.238.41 node01 node01
172.17.238.43 node02 node02
172.17.238.42 node03 node03

5、修改安全组

为了安装方便，放行所有端口。

6、免密登录(不需要做，脚本自己会操作)

ssh-keygen -t rsa

然后免密登录 node01 node02 node03
ssh-copy-id node01
ssh-copy-id node02
ssh-copy-id node03

三、购买 mysql 数据库

创建成功后，点击进入，创建外网连接

远程连接 mysql:

四、初始化 mysql 数据库数据

CREATE DATABASE db_datalight DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

导入 sql 文件的数据：

sql语句的位置：D:\datalight\Boundivore\datalight部署包\datalight\orm\sql

五、文件上传【node01】

在linux中，创建文件夹datalight

mkdir -p /opt/datalight

将内容拷贝上去：由于finalshell 拷贝大量文件夹时，老出现拷贝不全的情况。

该工具的下载链接是：客户端 - FileZilla中文网

因为不管是 finalshell 还是 filezilla ，在拖拽的过程中，经常会有一些小文件丢失，所以为了保险起见，先在 windows 压缩，在在 linux 解压比较保险

unzip dl.zip -d /opt/datalight/

由于k8s 比较大，很多尝鲜的小伙伴用不上，上传plugins的时候可以不上传KUBESPHERE。

仅需在第一个node节点上上传datalight 文件夹下的内容，其他的地方不需要。

yum -y install epel-release # 安装 EPEL 仓库，提供额外的软件包
yum -y install jq # 安装 jq，用于处理 JSON 数据
yum -y install curl # 安装 curl，用于命令行数据传输
yum -y install chrony # 安装 chrony，用于时间同步
yum -y install expect # 安装 expect，用于自动化交互式 shell 脚本
yum -y install openssl openssl-devel patch # 安装 OpenSSL 和开发包及 patch 工具
yum -y install lrzsz # 安装 lrzsz，用于 ZMODEM 文件传输
yum -y install unzip zip # 安装 unzip 和 zip，用于解压和压缩文件
yum -y install yum-utils # 安装 yum-utils，提供额外的 yum 命令
yum -y install net-tools # 安装 net-tools，提供网络工具如 ifconfig

yum -y install gcc gcc-c++ # 安装 GCC 和 G++ 编译器
yum -y install make # 安装 make，构建自动化工具
yum -y install autoconf automake libtool curl # 安装 autoconf、automake、libtool 和 curl，用于构建和配置软件
yum -y install zlib lzo-devel zlib-devel openssl openssl-devel ncurses-devel ruby # 安装 zlib、lzo-devel、zlib-devel、openssl、openssl-devel、ncurses-devel 和 ruby，用于压缩、加密、终端控制和 Ruby 语言支持
yum -y install snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop libXtst # 安装 snappy、snappy-devel、bzip2、bzip2-devel、lzo、lzo-devel、lzop 和 libXtst，用于数据压缩和图形界面支持

修改配置文件：/opt/datalight/assistant/conf/init-main-cluster.properties 【选做】

# 准备初始化的节点列表配置信息，Key 前缀为序号，不可重复，需要初始化多少节点，则添加多少节点
# 建议：1.node.ip 为当前执行脚本的节点 IP
1.node.ip=172.17.238.41
1.node.ssh.port=22
1.node.hostname=node01
1.node.user.root=root
1.node.pwd.root=***************
1.node.user.datalight=datalight
1.node.pwd.datalight=12345678

2.node.ip=172.17.238.43
2.node.ssh.port=22
2.node.hostname=node02
2.node.user.root=root
2.node.pwd.root=***************
2.node.user.datalight=datalight
2.node.pwd.datalight=12345678

3.node.ip=172.17.238.42
3.node.ssh.port=22
3.node.hostname=node03
3.node.user.root=root
3.node.pwd.root=***************
3.node.user.datalight=datalight
3.node.pwd.datalight=12345678

由于你使用的是阿里云的数据库，所以 web 连接 mysql 的地方也需要修改：

database:
mysql:
host: rm-2zesz8wlma97k45imdo.mysql.rds.aliyuncs.com
port: 3306
user: root
password: "******"
dbName: db_datalight

39.105.124.191 22
39.105.124.191 80
39.105.124.191 443
39.105.124.191 8001
39.105.124.191 8002

三台服务器的时间要同步，不同步，启动会失败！
同步时间：systemctl restart chronyd

检查 /opt/datalight/assistant/repo/jdk 下是否有jdk,没有的话需要上传。

cd /opt/datalight/assistant

sh main/init-main.sh