【doris的安装部署】

最新推荐文章于 2023-10-08 22:21:58 发布
最新推荐文章于 2023-10-08 22:21:58 发布
阅读量1.7k 收藏 2
点赞数
文章标签： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_56425963/article/details/129261273
版权

Doris的安装部署(三台：hadoop1、hadoop2、hadoop3)

系统：CentOS 7.1及以上
软件： Java 1.8及以上
1.下载百度Palo预编译版本，不需要编译源码，直接安装就行。Palo下载地址
2.下载Apache Doris源码用docker进行编译。

一、安装JDK（每个节点）

1.在官网下载需要的jdk。
2.在Linux系统创建/usr/local/java/ 目录，将安装包上传至此目录。
3.利用传输工具（xshell等）将下载好的jdk上传至Linux系统。
在此之前可能需要执行以下命令

yum -y install lrzsz

4.使用命令进入 /usr/local/java/ 目录，并解压安装包到此目录。

cd /usr/local/java/
tar -zxvf jdk-11.0.8_linux-x64_bin.tar.gz

5.配置JDK
使用 命令编辑 /etc/profile文件.

vi /etc/profile

在/etc/profile文件最末尾，添加如下内容：


export JAVA_HOME=/usr/local/java/jdk-11.0.8

export JRE_HOME=/usr/local/java/jdk-11.0.81/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

​6.JDK配置生效

source /etc/profile

用 java -version 命令测试JDK安装和配置是否成功.

java -version

JDK安装成功。

二、部署doris

一、 安装 Docker 环境编译doris（hadoop1）

1.1安装docker
1）Docker 要求 CentOS 系统的内核版本高于 3.10 ，首先查看系统内核版本是否满足

uname -r

2）使用 root 权限登录系统，确保 yum 包更新到最新

sudo yum update -y

3）假如安装过旧版本，先卸载旧版本

sudo yum remove docker docker-common docker-selinux docker-engine

4）安装 yum-util 工具包和 devicemapper 驱动依赖

sudo yum install -y yum-utils device-mapper-persistent-data lvm2

5）设置 yum 源（加速 yum 下载速度）

sudo yum-config-manager --add-repo 
https://download.docker.com/linux/centos/docker-ce.repo

如果连接超时，可以使用 alibaba 的镜像源：

sudo yum-config-manager --add-repo 
http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

6）查看所有仓库中所有 docker 版本，并选择特定版本安装，一般可直接安装最新版

yum list docker-ce --showduplicates | sort -r

7）安装 docker
（1）安装最新稳定版本的方式：

sudo yum install docker-ce -y #安装的是最新稳定版本.

（2）安装指定版本的方式：

sudo yum install <FQPN> -y

8）启动并加入开机启动

sudo systemctl start docker #启动 docker
sudo systemctl enable docker #加入开机自启动

9）查看 Version，验证是否安装成功

docker version

若出现 Client 和 Server 两部分内容，则证明安装成功。
1.2 使用 Docker 开发镜像编译
1）下载源码并解压
通过 wget 下载（或者手动上传下载好的压缩包）。
wget

https://dist.apache.org/repos/dist/dev/incubator/doris/0.15/0.15.
0-rc04/apache-doris-0.15.0-incubating-src.tar.gz

解压到/opt/software/

tar -zxvf apache-doris-0.15.0-incubating-src.tar.gz -C 
/opt/software

2）下载 Docker 镜像

docker pull apache/incubator-doris:build-env-for-0.15.0

可以通过以下命令查看镜像是否下载完成。

docker images

3）挂载本地目录运行镜像
以挂载本地 Doris 源码目录的方式运行镜像，这样编译的产出二进制文件会存储在宿主机中，不会因为镜像退出而消失。同时将镜像中 maven 的 .m2 目录挂载到宿主机目录，以防止每次启动镜像编译时，重复下载 maven 的依赖库。

docker run -it \
-v /opt/software/.m2:/root/.m2 \
-v /opt/software/apache-doris-0.15.0-incubating-src/:/root/apachedoris-0.15.0-incubating-src/ \
apache/incubator-doris:build-env-for-0.15.0

4）切换到 JDK 8

alternatives --set java java-1.8.0-openjdk.x86_64
alternatives --set javac java-1.8.0-openjdk.x86_64
export JAVA_HOME=/usr/lib/jvm/java-1.8.0

5）准备 Maven 依赖
编译过程会下载很多依赖，可以将我们准备好的 doris-repo.tar.gz 解压到 Docker 挂载的对应目录，来避免下载依赖的过程，加速编译。

tar -zxvf doris-repo.tar.gz -C /opt/software

也可以通过指定阿里云镜像仓库来加速下载：

vim /opt/software/apache-doris-0.15.0-incubating-src/fe/pom.xml

在标签下添加：

<repository>
 <id>aliyun</id>
 <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
</repository>

vim /opt/software/apache-doris-0.15.0-incubating-src/be/pom.xml

在标签下添加：

<repository>
 <id>aliyun</id>
 <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
</repository>

6）编译 Doris

sh build.sh

如果是第一次使用 build-env-for-0.15.0 或之后的版本，第一次编译的时候要使用如下命令：

sh build.sh --clean --be --fe --ui

因为 build-env-for-0.15.0 版本镜像升级了 thrift(0.9 -> 0.13)，需要通过–clean 命令强制.
2.3
如果选择下载了百度Palo预编译版本，（查看cpu是否支持avx2指令，下载对应版本）下载好后上传至服务器/opt/software目录，每台服务器都需要上传。
1）上传后解压，主要关注be,fe。
2）把fe挪到/opt/module/doris/目录下去，需要提前创建该目录。

mkdir /opt/module/doris

二、安装FE（Hadoop1）

2.1 创建目录并拷贝编译后的文件
1）创建目录并拷贝编译后的文件

mkdir /opt/module/apache-doris-0.15.0
cp -r /opt/software/apache-doris-0.15.0-incubating-src/output 
/opt/module/apache-doris-0.15.0

2）修改可打开文件数（每个节点）

sudo vim /etc/security/limits.conf
* soft nofile 65535
* hard nofile 65535
* soft nproc 65535
* hard nproc 65535

重启永久生效，也可以用 ulimit -n 65535 临时生效。
2.2 部署 FE 节点
1）创建 fe 元数据存储的目录

mkdir /opt/module/apache-doris-0.15.0/doris-meta

2）修改 fe 的配置文件

vim /opt/module/apache-doris-0.15.0/fe/conf/fe.conf

#配置文件中指定元数据路径：

meta_dir = /opt/module/apache-doris-0.15.0/doris-meta

#修改绑定 ip（每台机器修改成自己的 ip）

priority_networks = 192.168.8.101/24

3）启动 hadoop1 的 FE

/opt/module/apache-doris-0.15.0/fe/bin/start_fe.sh --daemon

2.3 配置 BE 节点
1）分发 BE

scp -r /opt/module/apache-doris-0.15.0/be hadoop2:/opt/module
scp -r /opt/module/apache-doris-0.15.0/be hadoop3:/opt/module

2）创建 BE 数据存放目录（每个节点）

mkdir /opt/module/apache-doris-0.15.0/doris-storage1
mkdir /opt/module/apache-doris-0.15.0/doris-storage2

3）修改 BE 的配置文件（每个节点）

vim /opt/module/apache-doris-0.15.0/be/conf/be.conf
#配置文件中指定数据存放路径：

storage_root_path = /opt/module/apache-doris-0.15.0/dorisstorage1;/opt/module/apache-doris-0.15.0/doris-storage2
#修改绑定 ip（每台机器修改成自己的 ip）
priority_networks = 192.168.8.101/24

这里看可以使用：set nu查看行数大概在60行，修改前可以yyp复制源代码。
2.4 在 FE 中添加所有 BE 节点
BE 节点需要先在 FE 中添加，才可加入集群。可以使用 mysql-client 连接到 FE。
1）安装 MySQL Client
（1）创建目录

mkdir /opt/software/mysql-client/

（2）上传相关以下三个 rpm 包到/opt/software/mysql-client/
下载地址

➢ mysql-community-client-5.7.28-1.el7.x86_64.rpm
➢ mysql-community-common-5.7.28-1.el7.x86_64.rpm
➢ mysql-community-libs-5.7.28-1.el7.x86_64.rpm

（3）检查当前系统是否安装过 MySQL

sudo rpm -qa|grep mariadb
#如果存在，先卸载
sudo rpm -e --nodeps mariadb mariadb-libs mariadb-server

（4）安装

rpm -ivh /opt/software/mysql-client/*

2）使用 MySQL Client 连接 FE

mysql -h hadoop1 -P 9030 -uroot

默认 root 无密码，通过以下命令修改 root 密码。

SET PASSWORD FOR 'root' = PASSWORD('000000');

3）添加 BE

ALTER SYSTEM ADD BACKEND "hadoop1:9050";
ALTER SYSTEM ADD BACKEND "hadoop2:9050";
ALTER SYSTEM ADD BACKEND "hadoop3:9050";

4）查看 BE 状态

SHOW PROC '/backends';

2.5 启动 BE
1）启动 BE（每个节点）

/opt/module/apache-doris-0.15.0/be/bin/start_be.sh --daemon

2）查看 BE 状态

mysql -h hadoop1 -P 9030 -uroot -p
SHOW PROC '/backends';

Alive 为 true 表示该 BE 节点存活
2…6 部署 FS_Broker（可选）
Broker 以插件的形式，独立于 Doris 部署。如果需要从第三方存储系统导入数据，需要部署相应的 Broker，默认提供了读取 HDFS、百度云 BOS 及 Amazon S3 的 fs_broker。
fs_broker 是无状态的，建议每一个 FE 和 BE 节点都部署一个 Broker。
1）编译 FS_BROKER 并拷贝文件
（1）进入源码目录下的 fs_brokers 目录，使用 sh build.sh 进行编译
（2）拷贝源码 fs_broker 的 output 目录下的相应 Broker 目录到需要部署的所有节点
上，改名为: apache_hdfs_broker。建议和 BE 或者 FE 目录保持同级。
方法同 2.2。
2）启动 Broker

/opt/module/apache-doris-
0.15.0/apache_hdfs_broker/bin/start_broker.sh --daemon

3）添加 Broker
要让 Doris 的 FE 和 BE 知道 Broker 在哪些节点上，通过 sql 命令添加 Broker 节
点列表。
（1）使用 mysql-client 连接启动的 FE，执行以下命令：

mysql -h hadoop1 -P 9030 -uroot -p
ALTER SYSTEM ADD BROKER broker_name 
"hadoop1:8000","hadoop2:8000","hadoop3:8000";

其中 broker_host 为 Broker 所在节点 ip；broker_ipc_port 在 Broker 配置文件中的

conf/apache_hdfs_broker.conf。

4）查看 Broker 状态
使用 mysql-client 连接任一已启动的 FE，执行以下命令查看 Broker 状态：

SHOW PROC "/brokers";

Alive 为 true 表示该 broker 节点存活

​

里哦～
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Doris应用指南
03-09
简介Doris软件安装，应用，环境变量的配置等等
最新Doris安装部署（保姆级教程）
u013618714的博客
05-18 1万+
Doris详细部署
Doris安装部署
这家伙什么也没留下!
06-09 8187
doris部署
Doris的安装部署
King_uuu的博客
01-29 2385
priority_networks=0.0.0.0/24（***注意要加0/24，不然默认主节点是127.0.0.1****）vim /etc/sysctl.conf中添加fs.file-max=655350。cat /proc/sys/fs/file-max 查看是否设置成功。stop_fe.sh（doris的fe,be节点没有启动顺序依赖）vim /etc/security/limits.conf添加。进入http://0.0.0.0:0000 网址查看节点状态。
Doris安装部署入门
Aidon博客
07-30 4525
Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris 能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB 实验平台、日志检索分析、用户画像分析、订单分析等应用。
ubuntu下安装doris教程
08-24
"Ubuntu 下安装 Doris 教程" 本文旨在指导读者在 Ubuntu 操作系统下安装 Doris 软件，并对相关知识点进行详细的解释。 安装环境 在开始安装 Doris 之前，需要确保已经安装了必备的软件包，包括gcc、g++和make。...
Doris介绍、原理、安装、集成hive
最新发布
02-27
### Doris介绍、原理、安装、集成Hive #### 一、Doris介绍 Doris是一款基于MPP（Massively Parallel Processing，大规模并行处理）架构的高性能分析型数据库，以其出色的性能和易于使用的特性而著称。它能够在亚秒...
doris阿里云K8s部署文档
08-30
doris通过阿里云K8s部署文档
apache doris 从部署到应用全解
06-27
在部署方面，Apache Doris 提供了多种方式，包括标准部署、Docker 部署以及 Kubernetes (K8s) 部署。对于开发者而言，可以通过构建 Docker Image 或者直接部署 Docker 集群来快速启动服务。同时，Doris 也支持在 ARM...
Apache Doris 1.1.2 FE 安装包
10-02
下面将详细介绍 Apache Doris 的安装部署过程以及与大数据处理相关的知识点。 1. **Apache Doris 简介** - **架构**：Apache Doris 采用 MPP（Massively Parallel Processing）架构，支持快速的数据导入和低延迟的...
Doris的安装
CSDN2022博客之星Top39；华为云博主7&，CSDN、稀土掘金、微信公众号、阿里云开发者社区、腾讯云社区、博客园、知乎、51CTO同名博主WHYBIGDATA；
06-20 3990
Doris的安装教程
搭建环境06：部署Doris
m0_37559973的博客
10-04 3050
Doris 集群部署
Doris-1.2.0安装部署详细流程
不以物喜的博客
01-31 4130
Doris是一个MPP的OLAP系统，以较低的成本提供在大数据集上的高性能分析和报表查询功能。MPP (Massively Parallel Processing)，即大规模并行处理。简单来说，MPP是将任务并行的分散到多个服务器和节点上，在每个节点上计算完成后，将各自部分的结果汇总在一起得到终的结果(与Hadoop相似)。
doris之虚拟机部署-通过双网卡实现公司和在家办公场景自由切换
旭日跑马踏云飞的专栏
06-27 520
在笔记本上部署doris的开发环境，通过双网卡的方式，在公司和在家或者外出时，可以使用同一套开发环境进行开发调试。
大数据Doris（七）：Doris安装与部署规划
Lansonli（蓝深李）的博客
10-08 513
如果需要 3 副本数据，那么至少需要 3 台机器各部署一个 BE 实例（而不是1台机器部署3个BE实例）。根据以往经验，当集群可用性要求很高是（比如提供在线业务），可以部署 3 个 Follower 和 1-3 个 Observer。如果是离线业务，建议部署 1 个 Follower 和 1-3 个 Observer。BE 的磁盘空间主要用于存放用户数据，总磁盘空间按用户总数据量 * 3（3副本）计算，然后再预留额外 40% 的空间用作后台 compaction 以及一些中间数据的存放。
Doris简介、部署、功能介绍以及架构设计
热门推荐
wt334502157的博客
05-10 3万+
​ Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris 能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB 实验平台、日志检索分析、用户画像分析、订单分析等应用。
Doris集群的安装部署
Xlucas的博客
04-16 2512
该文档主要介绍了部署 Doris 所需软硬件环境、建议的部署方式、集群扩容缩容，以及集群搭建到运行过程中的常见问题。
doris docker 部署安装
04-11
很高兴回答你的问题！关于Doris Docker 部署安装，以下是一些简单的指南： 1.首先，确保你的机器上已经安装了Docker 2.下载Doris Docker的镜像，并且启动 3.创建一个Doris 的配置文件，并且将其映射为容器内的文件 4.在配置文件中，配置 Doris的参数，例如端口号和数据目录 5.启动容器，并且连接到Doris实例 希望这些简单的指南可以帮助你安装和部署Doris Docker实例。如果你有其他问题或需求，可以继续向我提问。谢谢！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值