Linux下分布式实时数仓环境搭建

潇锐killer

已于 2023-07-19 08:27:18 修改

阅读量147

点赞数

文章标签： linux 大数据运维

于 2023-06-26 16:38:03 首次发布

本文链接：https://blog.csdn.net/wangqiaowq/article/details/131380150

版权

本文档详细介绍了如何在Linux环境下搭建分布式实时数仓，包括安装配置Hadoop、MySQL、Docker、Doris和Flink，以及设置SSH免密登录、防火墙和系统参数调整等步骤，确保集群的稳定运行。

摘要由CSDN通过智能技术生成

一、相关组件

二、安装jdk

yum install java-1.8.0-openjdk-devel.x86_64

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.372.b07-1.el7_9.x86_64
export JRE_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.372.b07-1.el7_9.x86_64/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin

共安装了4台机器，每台安装完后需要都check下JAVA_HOME

三、MySQL 单机即可

用docker 安装 mysql57

Docker的简介
Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器或Windows 机器上,也可以实现虚拟化,容器是完全使用沙箱机制,相互之间不会有任何接口。
一个完整的Docker有以下几个部分组成：
DockerClient客户端
Docker Daemon守护进程
Docker Image镜像
DockerContainer容器

Docker官网地址
Docker操作手册地址： Install Docker Engine on CentOS | Docker Documentation

删除旧版本docker

sudo yum remove docker \
docker-client \
docker-client-latest \
docker-common \
docker-latest \
docker-latest-logrotate \
docker-logrotate \
docker-engine

2、安装需要的安装包yum-utils

yum install -y yum-utils

3、设置镜像仓库地址

阿里云的镜像仓库地址

yum-config-manager \
--add-repo \
http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

4、安装docker相关的引擎

#先更新yum软件包索引

yum makecache fase
docker社区、ee企业版 ce为社区版官方推荐使用ce版，默认安装最新的docker
版本，也可以指定版本安装

yum install docker-ce docker-ce-cli containerd.io
5、启动docker
启动命令

systemctl start docker

docker version

安装Mysql 57

选择支持centos7版本的mysql57：

docker pull centos/mysql-57-centos7

列出本地镜像：

运行mysql57：

docker run -p 3306:3306 --name mysql57 -e MYSQL_ROOT_PASSWORD=123456 -d centos/mysql-57-centos7

docker ps

46eb2de18a4b

进入mysql镜像

docker exec -it 46eb2de18a4b bash

登录mysql 密码为空

ALTER USER 'root'@'localhost' IDENTIFIED BY '你的密码';

因为本容器被放置在云服务器上，在本地的电脑上连接需要设置mysql数据库的root用户允许远程连接。

grant all privileges on *.* to 'root'@'%' identified by '你的密码';

flush privileges;

远程登录

设置最大链接数

set GLOBAL max_connections=1000;

如果要修改my.cnf 参考如下：

docker cp 本地路径/my.cnf 容器名:/etc/mysql，将本地文件替换掉mysql容器里面的文件

四、Dinky搭建

mysql>
create database dinky;
#授权
mysql>
grant all privileges on dinky.* to 'dinky'@'%' identified by 'dinky' with grant option;
mysql>
flush privileges;

备注：docker容器异常时，重启docker， systemctl start docker 再重启 mysql， docker start mysql57

mysql -udinky -h192.168.1.245 -P3306 -pdinky

use dinky;

source /opt/dinky/sql/dinky.sql

修改配置文档 vim application.yml

url: jdbc:mysql://192.168.1.244:3306/dinky?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&useSSL=false&zeroDateTimeBehavior=convertToNull&serverTimezone=Asia/Shanghai&allowPublicKeyRetrieval=true
username: dinky
password: dinky
driver-class-name: com.mysql.cj.jdbc.Driver