Doris安装配置

已于 2024-06-07 17:16:59 修改
阅读量1k 收藏 10
点赞数 12
文章标签： 数据库 database
于 2024-06-07 17:10:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41880308/article/details/139531681
版权

概念

Doris: MPP架构的数据库，兼容大部分mysql语法，通过向量化技术和内部特殊的表结构可以实现海量数据的分析，查询。

向量化：也叫做SIMD，通过单指令多数据实现并行任务处理。

Fe|Frontend：是doris的管理节点，用户请求的接入、查询解析规划、元数据的管理、节点管理。角色分为Follower和Master和Observer。其中Observer只负责元数据的同步没有选举功能相当于SecondeNameNode。

Be|Backend:要负责数据存储、查询计划的执行

Broker:数据的导入

规划

集群规划

  • 通过上面的介绍可以知道集群的性能与 BE 节点的资源有关，BE 节点越多，Doris 性能越好。doris的节点数>=doris副本数+1（也就是如果设置3副本至少部署4be）
  • fe主要负责sql的解析，执行计划分发，元数据管理（Master独有)。fe的角色分为Follower和Observer。如果部署1Follower+2Observer=>读高可用。如果配置读写高可用3Follower节点。
  • fe的follower和observer如何选择？fe内部使用了bdbje的选举方式类似Paxos。因此必须保证半数以上写入成功，如果不成功该fe节点直接退出，来保证数据的准确性。事实如果Master的fe配置合理很难挂掉，即使Fe的Master磁盘故障仍然可以通过observer的元数据故障恢复。而如果对于Follower的元数据结构不是特别了解，不建议部署多台follower因为这样增加了运维的难度。相反部署多台observer运维成本更低。
  • 关于混布。生产环境不建议混布（fe+be），但是可能资源有限，如果部署读写高可用必须保证2fe独立部署。内存10G+，硬盘保证10G空间（元数据一般不会超过2G）;be不能混部。
  • 关于硬件资源。be节点对于内存使用较多，生产建议内存是 CPU 核数的 4 倍-8倍。fe节点如果节点数少建议16G-32G,如果节点数多可以适当调整内存10G+。
  • Ssd 和hdd应该怎么设置？对于fe来说，ssd可以通过配置meta_data存放元数据，加速大数据情况下的高并发点查和高频更新的能力。如果该节点是be，在多种存储介质存在时可以通过配置后缀设置冷热数据（该场景使用较少）。

端口规划

实例名称端口名称默认端口通信方向说明
BEbe_port9060FE --> BEBE 上 thrift server 的端口，用于接收来自 FE 的请求
BEwebserver_port8040BE <–> BEBE 上的 http server 的端口
BEheartbeat_service_port9050FE --> BEBE 上心跳服务端口（thrift），用于接收来自 FE 的心跳
BEbrpc_port8060FE <–> BEBE <–> BEBE 上的 brpc 端口，用于 BE 之间通讯
FEhttp_port8030FE <–> FEClient <–> FEFE 上的 http server 端口
FErpc_port9020BE --> FEFE <–> FEFE 上的 thrift server 端口，每个 fe 的配置需要保持一致
FEquery_port9030Client <–> FEFE 上的 MySQL server 端口
FEedit_log_port9010FE <–> FEFE 上的 bdbje 之间通信用的端口
Brokerbroker_ipc_port8000FE --> Broker BE --> BrokerBroker 上的 thrift server，用于接收请求

前置操作

1.检查支持AVX2 指令集（be节点）

cat /proc/cpuinfo | grep avx2

2.存储检查，必须ext4 和 xfs 文件系统均支持。

3.网卡配置检查，万兆带宽（如果只有千兆带宽影响性能），值得时priority_networks的网卡

4.关闭swap 分区

5.关闭防火墙

6.配置NTP服务

7.修改虚拟内存区域至少 2000000

sysctl -w vm.max_map_count=2000000

8.关闭透明大页

echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag

9.修改最大文件句柄数

vi /etc/security/limits.conf 
* soft nofile 1000000
* hard nofile 1000000

相关配置

  1. priority_networks(包含：fe+be) 配置ip，多网卡必须配置。并且启动后不能修改此配置，否则对应节点可能无法恢复。为了部署和后期维护的方便建议配置文件保持一致，因此可以通过配置网段让doris自定选择合理的ip例如该节点ip为192.168.0.1可以设置成priority_networks=192.168.0.0/24。只有匹配上 192.168.0.0/24 这个网段的才会去作为服务监听地址。
  2. Fe的节点数（Follower不包含observer）必须是奇数个。
  3. 如果fe节点数多个并且集群内存有限，可以使用默认8G内存。配置参数
    JAVA_OPTS="-Xmx16384m -XX:+UseMembar -XX:SurvivorRatio=8 -XX:MaxTenuringThreshold=7 -XX:+PrintGCDateStamps -XX:+PrintGCDetails -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:+CMSClassUnloadingEnabled -XX:-CMSParallelRemarkEnabled -XX:CMSInitiatingOccupancyFraction=80 -XX:SoftRefLRUPolicyMSPerMB=0 -Xloggc:$DORIS_HOME/log/fe.gc.log.$DATE"
  1. meta_dir在fe中配置如果有ssd尽量配置ssd的目录
  2. storage_root_path是be的数据存储路径。另外如果如果配置的目录有ssd和hdd的情况需要指定类型。否则可以不用制定类型，可以添加相关资源限制条件。多块磁盘配置多个路径，提高性能
  3. lower_case_table_names(fe) 默认0，区分大小写。1不区分（自动转成小写）2.不区分（保持sql的表名，以小写查询还有区别见官网）。需要注意此配置修改后只能通过重建元数据相当于重建集群。

部署

建议使用doris用户完成下面的操作。

1.Fe 节点部署

#修改fe.conf配置文件
## 选择独立于 BE 数据的硬盘，创建 FE 的元数据目录
mkdir -p <doris_meta_created>
#启动fe节点（非master节点需要使用helper方式启动）
bin/start_fe.sh --daemon
#非master第一次启动需要使用helper方式启动，后续使用start_fe.sh --daemon即可
#helper_fe_ip为任意一正常的fe节点一般用fe-master
#fe_edit_log_port默认9010
bin/start_fe.sh  --helper <helper_fe_ip>:<fe_edit_log_port> --daemon

2.be节点部署

#修改be.conf配置文件
## 修改 be/be.conf 的 Java 环境变量
JAVA_HOME = <your-java-home-path>
#启动be节点
bin/start_be.sh --daemon

3.加入节点

mysql -uroot -P<fe_query_port> -h<fe_ip_address>
ALTER SYSTEM ADD BACKEND "<be_ip_address>:<be_heartbeat_service_port>"
ALTER SYSTEM ADD FOLLOWER "<fe_ip_address>:<fe_edit_log_port>"
ALTER SYSTEM ADD OBSERVER "<fe_ip_address>:<fe_edit_log_port>"
## 查看 FE 各实例的版本，在 MySQL Client 中执行 show 命令
show frontends \G

## 查看 BE 各实例的版本，在 MySQL Client 中执行 show 命令
show backends \G

4.验证

## 创建测试数据库，在 MySQL Client 中执行 create database 语句
create database testdb;

## 创建测试表，在 MySQL Client 中执行 create table 语句
CREATE TABLE testdb.table_hash
(
    k1 TINYINT,
    k2 DECIMAL(10, 2) DEFAULT "10.5",
    k3 VARCHAR(10) COMMENT "string column",
    k4 INT NOT NULL DEFAULT "1" COMMENT "int column"
)
COMMENT "my first table"
DISTRIBUTED BY HASH(k1) BUCKETS 32;
## 插入部分测试数据，在 MySQL Client 中执行 insert into 语句
INSERT INTO testdb.table_hash VALUES
(1, 10.1, 'AAA', 10),
(2, 10.2, 'BBB', 20),
(3, 10.3, 'CCC', 30),
(4, 10.4, 'DDD', 40),
(5, 10.5, 'EEE', 50);
My name's sturnus
关注
大数据Doris（七）：Doris安装与部署规划
Lansonli（蓝深李）的博客
10-08 564
如果需要 3 副本数据，那么至少需要 3 台机器各部署一个 BE 实例（而不是1台机器部署3个BE实例）。根据以往经验，当集群可用性要求很高是（比如提供在线业务），可以部署 3 个 Follower 和 1-3 个 Observer。如果是离线业务，建议部署 1 个 Follower 和 1-3 个 Observer。BE 的磁盘空间主要用于存放用户数据，总磁盘空间按用户总数据量 * 3（3副本）计算，然后再预留额外 40% 的空间用作后台 compaction 以及一些中间数据的存放。
Doris安装部署指南
最新发布
笔者从事电信媒体开发多年，愿意将多年的开发经验分享给同行
09-28 197
通过以上步骤，你可以在CentOS系统上成功安装部署一个基本的Doris集群。Doris的性能与节点数量及配置正相关，建议根据实际业务需求合理规划集群规模。在生产环境中，还需要注意时钟同步、资源竞争和数据备份等问题，以确保集群的稳定性和可靠性。
Apache-Doris单机部署
CCH2024的专栏
05-28 1350
Apache-Doris单机部署
Doris的be、fe内存调整
sunxunyong的博客
09-09 394
mem_limit 默认值：auto auto等于 max(physical_mem * 0.9, physical_mem - 6.4G)，6.4G是默认为系统预留的最大内存。限制BE进程使用服务器最大内存百分比。用于防止BE内存挤占太多的机器内存，该参数必须大于0，当百分大于100%之后，该值会默认为100%。
Doris--基础--06--设置内存
zhou920786312的博客
03-08 5487
【代码】Doris--基础--06--设置内存。
【Doris的安装与部署】
weixin_45363959的博客
05-15 3167
Doris作为一款MPP架构的OLAP数据库，可以在绝大多数主流的商用服务器上运行。
DORIS参数配置
eagle89的专栏
05-07 1684
DORIS参数配置
最新Doris安装部署（保姆级教程）
热门推荐
u013618714的博客
05-18 1万+
Doris详细部署
doris 安装部署
2401_84052244的博客
04-26 604
Doris的主要架构分为FE（frontend）、BE（backend）两个角色、两个进程，不依赖于外部的组件，极易部署、运维，FE和BE都有很好的拓展性。FE：存储和维护集群的元数据，负责接收和解析用户的查询请求，规划查询计化，调度查询结果，FE主要分为三个角色：Leader、Follower、ObserverBE：负责数据的主要存储和计算，以及根据FE生成的物理执行计划，然后进行查询（分布式，多节点并行执行查询，统一汇总）。
doris安装（docker方式）
R_Nelson的专栏
03-12 1400
services:docker-fe:- FE_ID=1ports:volumes:networks:doris_net:docker-be:ports:volumes:networks:doris_net:networks:doris_net:ipam:config:配置解释fe端口映射出来8030是web界面9030是查询端口这里创建了自定义的网络，并指定ipv4的地址池为：172.18.0.0/16fe容器的IP地址是172.18.0.2。
doris5.0.3安装教程
04-11
### Doris 5.0.3 安装教程详解 #### 一、概述 本文将详细介绍如何安装Doris 5.0.3版本，并提供针对初学者的一些实用建议，帮助他们在安装过程中避免常见问题，确保软件顺利运行。Doris是一款功能强大的雷达干涉...
Doris安装部署
这家伙什么也没留下!
06-09 8284
doris部署
Apache Doris1.0版本集群搭建、负载均衡与参数调优
h952520296的博客
06-23 2852
首先下载包，有源码和预编译两种包 。我这用的预编译下载 | Apache Doris我的架构是3FE+7BE首先操作系统安装要求#设置系统最大打开文件句柄数 时钟同步Doris 的元数据要求时间精度要小于5000ms，所以所有集群所有机器要进行时钟同步，避免因为时钟问题引发的元数据不一致导致服务出现异常。#关闭交换分区（swap）Linux交换分区会给Doris带来很严重的性能问题，需要在安装之前禁用交换分区#Liunx文件系统推荐使用ext4文件系统，在安装操作系统的时候，请选择ext4文件系统。
Doris单机部署——2.0.1.1版本
雷神乐乐的博客
11-26 3403
Doris单机部署——2.0.1.1版本
Doris学习笔记之优化
四国棋客
08-06 3566
本文记录了Doris优化的一些方法或原则，比如查看QueryProfile、Join优化原则等，并介绍了Bitmap索引和布隆索引，以及优化的原理等
Doris使用及优化（1.2.6 - 2.0.2 release）
weixin_43983455的博客
05-09 7268
Doris的使用及优化经验，持续更新，欢迎投递。
大数据 - Doris系列《二》- Doris安装（亲测成功版）
weixin_40968325的博客
01-04 2513
BE 的磁盘空间主要用于存放用户数据，总磁盘空间按用户总数据量* 3（3 副本）计算，然后再预留额外 40%的空间用作后台 compaction 以及一些中间数据的存放。不认识，所有linux02和linux03的fe及be节点也需要向linux01的fe节点报道，这样才能写进元数据。参数，你将该命令转为在后台以守护进程的形式运行，不再与当前终端关联，因此可以正常结束终端而不影响该进程的运行。原因这可能是因为在非守护（daemon）模式下，该命令在前台运行，占用了终端并阻塞了你的输入。相对较小轻便，省电。
【Doris】Apache Doris在网易互娱的应用实践（含案例、调优、治理）
m0_54252387的博客
07-09 1737
随着公司游戏业务的高速发展，越来越多的分析需求涌现，例如：各类游戏用户行为分析、商业智能分析、数仓报表等。这些场景的数据体量都较大，对数据分析平台提出了很高的要求。为了解决实时分析的时效性，同时又能保证数据快速写入和查询，需要一个合适的数据查询引擎来补充我们原有的架构体系。经过大量调研，Apache Doris 比较契合网易互娱游戏数据中心的整体要求，Apache Doris 具备以下优秀特性：MPP架构 + 高效列式存储引擎高性能、高可用、高弹性标准ANSI SQL支持支持多表Join支持MySQL协议支
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值