Doris 编译安装(完整版)

已于 2022-11-23 19:20:17 修改
阅读量6k 收藏 18
点赞数 1
分类专栏： Doris/Clickhouse/Druid 文章标签： Doris 编译 安装 数据库 完整版
于 2020-12-16 18:23:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42003671/article/details/111282079
版权

@羲凡——只为了更好的活着

Doris 编译安装(完整版)

前期准备

安装java8、mysql、docker

安装java8、mysql 这个基本操作，晚上也有很多例子，我就不赘述了。
安装docker，这有两个博客拿走不谢(Centos7和Ubuntu)

集群规划

可能有小白会问，为啥只有 FE-Follower ，却没有FE-Leader？因为Leader是从Follower中选举出来的，如果自由一个Follower ，那么它就呗选举为Leader
hostnameFE-FollowerFE-ObserverBEmysql
10.218.223.96√√√
10.218.223.97√√
10.218.223.98√

一、编译

在 10.218.223.96 上操作,我用的是root用户，你们没有可以用有sudo权限的用户名

1.拉取镜像
docker pull apachedoris/doris-dev:build-env-1.2
2.运行镜像，建议同时将镜像中 maven 的 .m2 目录挂载到宿主机目录，以防止每次启动镜像编译时，重复下载 maven 的依赖库
# docker run -it -v /your/local/.m2:/root/.m2 -v /your/local/incubator-doris-DORIS-x.x.x-release/:/root/incubator-doris-DORIS-x.x.x-release/ apachedoris/doris-dev:build-env
  docker run -it -v /opt/modules/complie-doris/.m2:/root/.m2 -v /opt/modules/complie-doris/incubator-doris-DORIS-0.13.0-release/:/root/incubator-doris-DORIS-0.13.0-release/ apachedoris/doris-dev:build-env-1.2
3.下载源码，执行完上面的命令你就已经在容器里了
cd incubator-doris-DORIS-0.13.0-release
git clone https://github.com/apache/incubator-doris.git
4.编译——fe和be
cd /root/incubator-doris-DORIS-0.13.0-release/incubator-doris
sh build.sh
编译完成后如下图，产出文件在 output/ 目录中

在这里插入图片描述

5.编译——broker
cd /root/incubator-doris-DORIS-0.13.0-release/incubator-doris/fs_brokers/apache_hdfs_broker/
sh build.sh
编译完成后如下图，产出文件在 output/ 目录中

在这里插入图片描述

二、安装FE-Follower

将源码编译生成的 output 下的 fe 文件夹拷贝到 10.218.223.96 指定部署路径 /opt/doris 下

1.配置文件(priority_networks 的ip要加上网关，不知道自己的网关，用 ip a 查看 )
cd /opt/doris/fe
mkdir /opt/doris/fe/doris-meta ####路径必须、必须、必须提前创建好
vim conf/fe.conf
###############添加下面两列信息###############
####################开始####################
meta_dir = /opt/doris/fe/doris-meta
priority_networks = 10.218.223.96/22
####################结束####################
2.启动，日志默认存放在 fe/log/ 目录下，成功后有守护进程 PaloFe
cd /opt/doris/fe
sh bin/start_fe.sh --daemon

三、安装BE

将源码编译生成的 output 下的 be 文件夹拷贝到 三台机器 指定部署路径 /opt/doris 下

scp -r output/be/ 10.218.223.96:/opt/doris/
scp -r output/be/ 10.218.223.97:/opt/doris/
scp -r output/be/ 10.218.223.98:/opt/doris/
1.配置文件(每台机器priority_networks写自己的地址,ip要加上网关，不知道自己的网关，用 ip a 查看 )
cd /opt/doris/be
mkdir -p /opt/doris/be/storage ####路径必须、必须、必须提前创建好
vim conf/be.conf
###############添加下面两列信息###############
####################开始####################
storage_root_path = /opt/doris/be/storage 
priority_networks = 10.218.223.96/22 
####################结束####################
2. FE 中添加所有 BE 节点
host 为 FE 所在节点 ip；port 为 fe/conf/fe.conf 中的 query_port；默认使用 root 账户，无密码登录。进入fe，如果端口没改，默认是9030
# mysql -h host -P port -uroot
mysql -h 10.218.223.96 -P 9030 -uroot
host 为 BE 所在节点 ip；port 为 be/conf/be.conf 中的 heartbeat_service_port
# ALTER SYSTEM ADD BACKEND "host:port";
ALTER SYSTEM ADD BACKEND "10.218.223.96:9050" ;
ALTER SYSTEM ADD BACKEND "10.218.223.97:9050" ;
ALTER SYSTEM ADD BACKEND "10.218.223.98:9050" ;
3.启动(三台都操作),日志默认存放在 be/log/ 目录下
cd /opt/doris/be
sh bin/start_be.sh --daemon
4. 查看be状态(isAlive 列应为 true)
mysql -h 10.218.223.96 -P 9030 -uroot 
SHOW PROC '/backends';

四、安装FS_Broker(三台都装)

将源码编译生成的 output 下的 apache_hdfs_broker文件夹拷贝到 三台机器 指定部署路径 /opt/doris 下

scp -r output/apache_hdfs_broker/ 10.218.223.96:/opt/doris/
scp -r output/apache_hdfs_broker/ 10.218.223.97:/opt/doris/
scp -r output/apache_hdfs_broker/ 10.218.223.98:/opt/doris/
1. 删除原来的 hdfs-site.xml 将自己hadoop的core-site.xml和hdfs-site.xml 放到 /opt/doris/apache_hdfs_broker/conf 目录下
rm -rf conf/hdfs-site.xml
cp /etc/hadoop/conf.cloudera.hdfs/hdfs-site.xml conf/
2.启动
sh bin/start_broker.sh --daemon
3.添加Broker
host 为 FE 所在节点 ip；port 为 fe/conf/fe.conf 中的 query_port；默认使用 root 账户，无密码登录。进入fe，如果端口没改，默认是9030
# mysql -h host -P port -uroot
mysql -h 10.218.223.96 -P 9030 -uroot
host 为 Broker 所在节点 ip；port 为 Broker 配置文件中的 broker_ipc_port
# ALTER SYSTEM ADD BROKER broker_name "host1:port1","host2:port2",...;
ALTER SYSTEM ADD BROKER broker_name "10.218.223.96:8000","10.218.223.97:8000","10.218.223.98:8000";
4. 查看Broker状态(isAlive 列应为 true)
SHOW PROC '/brokers';

在这里插入图片描述

五、安装FE-Observer

将源码编译生成的 output 下的 fe 文件夹拷贝到 10.218.223.97 指定部署路径 /opt/doris 下

1.配置文件(priority_networks 的ip要加上网关，不知道自己的网关，用 ip a 查看 )
cd /opt/doris/fe
mkdir /opt/doris/fe/doris-meta ####路径必须、必须、必须提前创建好
vim conf/fe.conf
###############添加下面两列信息###############
####################开始####################
meta_dir = /opt/doris/fe/doris-meta
priority_networks = 10.218.223.97/22
####################结束####################
2.启动
host 为 Leader 所在节点 ip, port 为 Leader 的配置文件 fe.conf 中的 edit_log_port。–helper 参数仅在 follower 和 observer 第一次启动时才需要
cd /opt/doris/fe
# sh bin/start_fe.sh --helper host:port --daemon
sh bin/start_fe.sh --helper 10.218.223.96:9010--daemon
3.添加Observer
host 为 FE 所在节点 ip；port 为 fe/conf/fe.conf 中的 query_port；默认使用 root 账户，无密码登录。进入fe，如果端口没改，默认是9030
# mysql -h host -P port -uroot
mysql -h 10.218.223.96 -P 9030 -uroot
host 为 Follower 或 Observer 所在节点 ip，port 为其配置文件 fe.conf 中的 edit_log_port
# ALTER SYSTEM ADD OBSERVER "host:port";
ALTER SYSTEM ADD OBSERVER "10.218.223.97:9010";

六、使用测试

# 测试数据
1,1,jim,2
2,1,grace,2
3,2,tom,2
4,3,bush,3
5,3,helen,3

mysql -h 10.218.223.96 -P 9030 -uroot
# 改密码
SET PASSWORD FOR 'root' = PASSWORD('123456');
# 创建数据库
CREATE DATABASE example_db;
USE example_db;
# 建表
CREATE TABLE table1
(
    siteid INT DEFAULT '10',
    citycode SMALLINT,
    username VARCHAR(32) DEFAULT '',
    pv BIGINT SUM DEFAULT '0'
)
AGGREGATE KEY(siteid, citycode, username)
DISTRIBUTED BY HASH(siteid) BUCKETS 10
PROPERTIES("replication_num" = "3");
加载数据-流式导入

# 如果数据在fe的节点上用下面的方式,注意看主要是端口的差异
curl --location-trusted -u root:123456 -H "label:table1_20201216" -H "column_separator:," -T table1_data http://10.218.223.96:8030/api/example_db/table1/_stream_load
# 如果数据在be的节点上用下面的方式,注意看主要是端口的差异
curl --location-trusted -u root:123456 -H "label:table1_20201217" -H "column_separator:," -T table1_data http://10.218.223.98:8040/api/example_db/table1/_stream_load;
加载数据-Broker导入(先登录Doris)
下面的 broker_name 要先找到先用 SHOW PROC '/brokers' 查看自己的是啥，不过默认是 broker_name
## HELP BROKER LOAD;
LOAD LABEL table1_20201212
(
    DATA INFILE("hdfs://ns/tmp/table1_data")
    INTO TABLE table1
	COLUMNS TERMINATED BY ","
)
WITH BROKER broker_name 
(
    "hadoop.security.authentication"="simple",
    "username"="hdfs",
    "password"="hdfs",
    "dfs.nameservices" = "ns",
    "dfs.ha.namenodes.ns" = "namenode30, namenode55",
    "dfs.namenode.rpc-address.ns.namenode30" = "yc-nsg-h2:8020",
    "dfs.namenode.rpc-address.ns.namenode55" = "yc-nsg-h3:8020",
    "dfs.client.failover.proxy.provider" = "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider"
)
PROPERTIES
(
    "timeout"="3600",
    "max_filter_ratio"="0.1",
	"timezone"="Asia/Shanghai"
);
-- 查看load是否成功
show load where label = 'table1_20201212' order by createtime desc limit 3
查询结果

在这里插入图片描述

装完也测试完了，你到任何一个fe的8030界面上查看你的参数和机器情况

|
|
|

恭喜您学会了Doris的安装，离成功又进了一步，哈哈
恭喜您学会了Doris的安装，离成功又进了一步，哈哈
恭喜您学会了Doris的安装，离成功又进了一步，哈哈

====================================================================

@羲凡——只为了更好的活着

若对博客中有任何问题，欢迎留言交流

羲凡丞相
关注
  • 1
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 13
    评论
专栏目录
Doris编译安装及环境准备
weixin_42886699的博客
08-22 190
参照菜鸟教程安装在本地安装，直接下载版本的docker。下载的官⽅提供的 doris 的编译环境,需要按照 Doris 版本运⾏对应命令下载对应 docker 镜像.运⾏如下命令检查下载的docker镜像点击“下载”>>选择需要的版本现在我们下载 0.11.0 版本的源码，并在本地解压.编译后压缩zip包，并复制到本地.
Doris的编译与安装（二）
weixin_46039745的博客
11-22 206
同时将镜像中 maven 的 .m2 目录挂载到宿主机目录，以防止每次启动镜像编译时，重复下载 maven 的依赖库。因为 build-env-for-0.15.0 版本镜像升级了 thrift(0.9 -> 0.13)，需要通过--clean 命令强制使用新版本的 thrift 生成代码文件，否则会出现不兼容的代码。编译过程会下载很多依赖，可以将我们准备好的 doris-repo.tar.gz 解压到 Docker 挂载的对应目录，来避免下载依赖的过程，加速编译。可以通过以下命令查看镜像是否下载完成。
下一代实时数据库：Apache Doris 【二】编译与安装_apache doris 2
最新发布
2401_84591619的博客
05-11 825
若出现 Client 和 Server 两部分内容， 则证明安装成功。
记编译 Doris 的过程
howard_shooter的博客
06-27 645
尝试编译 doris，其过程异常坎坷，不过也学到了很多东西。
MPP数据库之Doris（1）：Doris编译
yang_shibiao的博客
01-26 2790
1. Apache Doris编译准备工作 1.1. 网络准备 # 查看防火墙状态 systemctl status firewalld.service # 关闭防火墙 systemctl stop firewalld.service # 开机禁止防火墙服务器 systemctl disable firewalld.service # 安装wget工具 yum -y install wget # 确定能ping通外网 ping www.baidu.com 1.2. Docker环境准备
Doris实践（一）——Doris编译安装及环境准备
qq_41018861的博客
06-08 2797
一、编译： 1.Docker 准备 参照菜鸟教程安装在本地安装docker，我用的是macOS系统，直接下载Edge版本的docker。 2.下载 Docker 镜像 docker pull apachedoris/doris-dev:build-env 我是直接下载的官方提供的doris的编译环境 需要按照Doris版本运行对应命令下载对应docker镜像 镜像版本 commit id doris 版本 apachedoris/doris-dev:build-env before
最新Doris安装部署（保姆级教程）
热门推荐
u013618714的博客
05-18 1万+
Doris详细部署
Apache Doris安装部署
终回首的博客
11-19 858
Apache Doris安装部署全过程
doris 0.11编译好的包
12-04
doris编译好的包(0.11版本)，备用,doris编译好的包(0.11版本)，备用doris编译好的包(0.11版本)，备用doris编译好的包(0.11版本)，备用doris编译好的包(0.11版本)，备用
doris1.14.0be编译包
08-04
《Doris 1.14.0 BE 编译与使用详解》 Doris，全称为 Apache Doris，是一款开源的、高性能的列式数据库，主要用于实时分析领域。其BE（Backend）是Doris系统的核心组件之一，负责数据的存储、计算以及分布式管理。在...
incubator-doris:Apache Doris（正在孵化）
05-10
Apache Doris 百度镜像库 这里是由 Baidu Doris(Palo) 团队维护的 的镜像库。 该镜像库仅用于发布基于 Apache Doris 官方 Release 版本的 。包括快速的 Bug 修复和新功能更新。 这些 3 位迭代版本都在百度内部进行过测试和上线，并且所有代码提交均存在与官方仓库中，推荐使用。 所有 3 位迭代版本请看 特别声明 Apache、Apache Doris 以及 Doris 名称归属于 Apache 软件基金会。 本仓库代码非 Apache 官方 Release 版本，但与 Apache 版本完全兼容。官方版本请前往 下载。 使用说明 目前 Apache Doris 的 为： 0.9.0 0.10.0 0.11.0 0.12.0 0.13.0 本仓库主要基于 2 位官方版本发布 3 位迭代版本。如： DORIS-0.9.22-release
doris-1.1.3源码编译broker-maven依赖包repository
10-27
《Doris 1.1.3 源码编译 Broker Maven 依赖包 Repository 深度解析》 Apache Doris 是一个高性能、分布式、在线分析处理（OLAP）的数据仓库系统，它提供了快速的数据查询能力，适用于大规模数据的实时分析。在Doris...
doris-0.15(已编译)
01-08
1. 安装部署：Doris 0.15提供了简洁的安装流程，用户可以从提供的“output”压缩包中解压获取所需文件，根据官方文档的指引，快速完成环境配置和服务启动。 2. 数据导入：Doris支持多种数据源的快速导入，包括HDFS...
doris-fe编译文件包
10-22
【标题】"Doris-Fe编译文件包"是一个针对Apache Doris的前端（FE）组件的源码编译产物，适用于那些在IDEA中集成安装Doris FE时遇到依赖问题的开发者。这个压缩包提供了在Linux或Mac操作系统上编译Doris源码后得到的...
MPP数据库之Doris（5）：Doris安装部署之Broker部署
yang_shibiao的博客
01-28 2994
目录 0. 相关文章链接 1. 安装包准备和上传 2.FS_Broker 部署 0. 相关文章链接 大数据基础知识点 文章汇总 1. 安装包准备和上传 上传doris已经编译的安装包，关于doris编译参考MPP数据库之Doris（2）：Doris之Broker编译博文，在doris 0.15版本 中的 apache_hdfs_broker 插件中有已经编译好的安装包，可以自行下载。 安装地址为：/opt/module/doris 2.FS_Broker 部署 Broker ...
Apache Doris安装过程
Im ok的博客哦
11-28 5366
0.系统与版本要求 Linux 操作系统版本需求 Linux 系统 版本 CentOS 7.1 及以上 Ubuntu 16.04 及以上 虽然要求centos7以上，但是实测在centos8安装会出现某些依赖一直安装不上的问题，因此建议安装在centos7上 软件需求 软件 版本 Java 1.8 及以上 GCC 4.8.2 及以上 开发测试环境 模块 CPU 内存 磁盘 网络 实例数量 Frontend 8核+ 8GB+ SSD 或 SATA
使用doris遇到的问题
qq_41519442的博客
11-13 3859
### 1、调整fe中的priority_networks值。 关于fe.conf中的priority_networks这个配置，是单主机上存在多个ip的时候，doris不知道该用那个ip来启动，这个时候最好使用priority_networks去配置doris，随后我就改了一下该配置，然后启动了之后发现怎么都打不开 http://FE_IP:8030 然后看了一下日志 新改动的priority_networks = 192.168.0.161/24; 但是发现name: 172.19.0.
(一)、Doris安装使用（基于Doris 2.0.6）
qq_22494169的博客
03-22 2460
​ Apache Doris由百度大数据部研发（之前叫百度 Palo，2018年贡献到 Apache 社区后，更名为 Doris），在百度内部，有超过200个产品线在使用，部署机器超过1000台，单一业务最大可达到上百 TB。​ Apache Doris是一个现代化的MPP （Massively Parallel Processing，即大规模并行处理）分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析
Doris安装与配置指南：从FFT到GMT
安装Doris同样涉及命令行操作，包括配置、编译和安装。最新版本为v3.17，可以在指定网站上下载。 3. **SARtools和ENVISAT_TOOLS** 是与SAR数据处理相关的辅助工具，用于处理和分析相关数据。它们的安装也通过执行`...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值