Linux下分布式实时数仓环境搭建

一、相关组件

二、安装jdk

 yum install java-1.8.0-openjdk-devel.x86_64

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.372.b07-1.el7_9.x86_64
export JRE_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.372.b07-1.el7_9.x86_64/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin

共安装了4台机器，每台安装完后需要都check下JAVA_HOME

三、MySQL 单机即可

用docker 安装 mysql57

Docker的简介
Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器或Windows 机器上,也可以实现虚拟化,容器是完全使用沙箱机制,相互之间不会有任何接口。
一个完整的Docker有以下几个部分组成：
DockerClient客户端
Docker Daemon守护进程
Docker Image镜像
DockerContainer容器

Docker官网地址
Docker操作手册地址： Install Docker Engine on CentOS | Docker Documentation

删除旧版本docker

sudo yum remove docker \
                  docker-client \
                  docker-client-latest \
                  docker-common \
                  docker-latest \
                  docker-latest-logrotate \
                  docker-logrotate \
                  docker-engine

2、安装需要的安装包yum-utils

yum install -y yum-utils

3、设置镜像仓库地址

阿里云的镜像仓库地址

  yum-config-manager \
  --add-repo \
   http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

4、安装docker相关的引擎

#先更新yum软件包索引

     yum makecache fase 
docker社区、ee企业版 ce为社区版 官方推荐使用ce版，默认安装最新的docker
版本，也可以指定版本安装

yum install docker-ce docker-ce-cli containerd.io
5、启动docker
启动命令

systemctl  start  docker

docker version

 安装Mysql 57

 

选择支持centos7版本的mysql57： 

docker pull centos/mysql-57-centos7

列出本地镜像：

 运行mysql57：

docker run -p 3306:3306 --name mysql57 -e MYSQL_ROOT_PASSWORD=123456 -d centos/mysql-57-centos7

 docker ps

 46eb2de18a4b

进入mysql镜像

docker exec -it 46eb2de18a4b bash

登录mysql  密码为空

 

 

 ALTER USER 'root'@'localhost' IDENTIFIED BY '你的密码';

因为本容器被放置在云服务器上，在本地的电脑上连接需要设置mysql数据库的root用户允许远程连接。

grant all privileges on *.* to 'root'@'%' identified by '你的密码';

flush privileges;

远程登录

设置最大链接数

set GLOBAL max_connections=1000;

如果要修改my.cnf  参考如下：

docker cp 本地路径/my.cnf 容器名:/etc/mysql，将本地文件替换掉mysql容器里面的文件

四、Dinky搭建

mysql>
create database dinky;
#授权
mysql>
grant all privileges on dinky.* to 'dinky'@'%' identified by 'dinky' with grant option;
mysql>
flush privileges;

备注：docker容器异常时，重启docker， systemctl start docker  再重启 mysql， docker start mysql57

 mysql -udinky -h192.168.1.245 -P3306 -pdinky

use dinky;

source /opt/dinky/sql/dinky.sql

修改配置文档 vim application.yml

url: jdbc:mysql://192.168.1.244:3306/dinky?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&useSSL=false&zeroDateTimeBehavior=convertToNull&serverTimezone=Asia/Shanghai&allowPublicKeyRetrieval=true
    username: dinky
    password: dinky
    driver-class-name: com.mysql.cj.jdbc.Driver

plugins目录导入需要的jar包

 

#启动  
sh auto.sh start 1.14
#停止
sh auto.sh stop
#重启
sh auto.sh restart
#查看状态
sh auto.sh status

关闭防火墙

systemctl status firewalld.service
systemctl stop firewalld.service
systemctl status firewalld.service
systemctl disable firewalld.service

五、安装Doris

     环境准备 1台FE 3台BE

1、不重启电脑，禁用启用swap，立刻生效

# 禁用命令

sudo swapoff -a

# 启用命令

sudo swapon -a

# 查看交换分区的状态

sudo free -m

 

2、关闭防火墙

systemctl status firewalld.service
systemctl stop firewalld.service
systemctl status firewalld.service
systemctl disable firewalld.service

 3、