Doris简介及单机部署(超详细)

已于 2024-03-28 14:08:06 修改
阅读量2k 收藏 33
点赞数 26
分类专栏： 大数据 文章标签： 大数据
于 2024-01-30 11:03:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bacawa/article/details/135926052
版权
本文详细介绍了ApacheDoris的概述，包括其高性能、实时分析能力以及广泛应用的场景。随后逐步指导如何在Centos7.9上进行单机部署，涉及FE和BE的安装、配置、状态检查及基本操作，包括设置密码和添加BE节点等。
摘要由CSDN通过智能技术生成

文章目录

一、Doris简介

1、Doris介绍

  Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris 能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB 实验平台、日志检索分析、用户画像分析、订单分析等应用。

  Apache Doris 最早是诞生于百度广告报表业务的 Palo 项目，2017 年正式对外开源，2018 年 7 月由百度捐赠给 Apache 基金会进行孵化，之后在 Apache 导师的指导下由孵化器项目管理委员会成员进行孵化和运营。目前 Apache Doris 社区已经聚集了来自不同行业近百家企业的 300 余位贡献者，并且每月活跃贡献者人数也接近 100 位。 2022 年 6 月，Apache Doris 成功从 Apache 孵化器毕业，正式成为 Apache 顶级项目（Top-Level Project，TLP）

  Apache Doris 如今在中国乃至全球范围内都拥有着广泛的用户群体，截止目前， Apache Doris 已经在全球超过 500 家企业的生产环境中得到应用，在中国市值或估值排行前 50 的互联网公司中，有超过 80% 长期使用 Apache Doris，包括百度、美团、小米、京东、字节跳动、腾讯、网易、快手、微博、贝壳等。同时在一些传统行业如金融、能源、制造、电信等领域也有着丰富的应用。

2、Doris架构

Doris 架构非常简单，只有两类进程:

  • Frontend（FE），主要负责用户请求的接入、查询解析规划、元数据的管理、节点管理相关工作；
  • Backend（BE），主要负责数据存储、查询计划的执行。

  这两类进程都是可以横向扩展的，单集群可以支持到数百台机器，数十 PB 的存储容量。并且这两类进程通过一致性协议来保证服务的高可用和数据的高可靠。这种高度集成的架构设计极大的降低了一款分布式系统的运维成本。
在使用接口方面，Doris 采用 MySQL 协议，高度兼容 MySQL 语法，支持标准 SQL，用户可以通过各类客户端工具来访问 Doris，并支持与 BI 工具的无缝对接。

在存储引擎方面，Doris 采用列式存储，按列进行数据的编码压缩和读取，能够实现极高的压缩比，同时减少大量非相关数据的扫描，从而更加有效利用 IO 和 CPU 资源。

Doris 支持比较丰富的索引结构，来减少数据的扫描：

  • Sorted Compound Key Index，可以最多指定三个列组成复合排序键，通过该索引，能够有效进行数据裁剪，从而能够更好支持高并发的报表场景;
  • Z-order Index`：使用 Z-order 索引，可以高效对数据模型中的任意字段组合进行范围查询;
  • Min/Max ：有效过滤数值类型的等值和范围查询;
  • Bloom Filter ：对高基数列的等值过滤裁剪非常有效;
  • Invert Index ：能够对任意字段实现快速检索。

Doris 支持多种存储模型，针对不同的场景做了针对性的优化：

  • Aggregate Key 模型：相同 Key 的 Value 列合并，通过提前聚合大幅提升性能；
  • Unique Key 模型：Key 唯一，相同 Key 的数据覆盖，实现行级别数据更新；
  • Duplicate Key 模型：明细数据模型，满足事实表的明细存储。

Doris 也支持强一致的物化视图，物化视图的更新和选择都在系统内自动进行，不需要用户手动选择，从而大幅减少了物化视图维护的代价。

在查询引擎方面，Doris 采用 MPP 的模型，节点间和节点内都并行执行，也支持多个大表的分布式 Shuffle Join，从而能够更好应对复杂查询。

  • Doris 查询引擎是向量化的查询引擎，所有的内存结构能够按照列式布局，能够达到大幅减少虚函数调用、提升 Cache 命中率，高效利用 SIMD 指令的效果。在宽表聚合场景下性能是非向量化引擎的 5-10 倍。

  • Doris 采用了 Adaptive Query Execution 技术， 可以根据 Runtime Statistics 来动态调整执行计划，比如通过 Runtime Filter 技术能够在运行时生成生成 Filter 推到 Probe 侧，并且能够将 Filter 自动穿透到 Probe 侧最底层的 Scan 节点，从而大幅减少 Probe 的数据量，加速 Join 性能。Doris 的 Runtime Filter 支持 In/Min/Max/Bloom Filter。

  • 在优化器方面 Doris 使用 CBO 和 RBO 结合的优化策略，RBO 支持常量折叠、子查询改写、谓词下推等，CBO 支持 Join Reorder。目前 CBO 还在持续优化中，主要集中在更加精准的统计信息收集和推导，更加精准的代价模型预估等方面。

二、Doris单机部署（Centos7.9）

1、下载Doris

挂网下载地址，选择稳定版本进行下载。
https://doris.apache.org/zh-CN/download/

2、准备环境

脚本内容如下

# 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld

#永久关闭selinux

sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
setenforce 0  # 临时

# 关闭swap
swapoff -a  # 临时
sed -ri 's/.*swap.*/#&/' /etc/fstab    # 永久



cat >> /etc/security/limits.conf  <<EOF
* soft nofile 65536
* hard nofile 65536
EOF

#安装jdk及依赖包
yum install -y build-essential gcc-10 g++-10 java-1.8.0-openjdk.x86_64 maven cmake byacc flex automake libtool-bin bison binutils-dev libiberty-dev zip unzip libncurses5-dev curl git ninja-build python

#配置java环境变量
cat >>/etc/profile <<EOF

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

EOF

source /etc/profile

新建 install_enviromment.sh脚本文件，使用vi编辑器复制以上内容。

##增加执行权限
chmod 755 install_enviromment.sh
## 执行脚本
./install_enviromment.sh

3、安装部署

3.1 创建存储目录

mkdir -p /doris/data/{storage,doris-meta}

3.2 配置 FE

我们进入到 /doris/apache-doris-1.2.7.1-bin-x64-noavx2/fe 目录
修改 FE 配置文件 conf/fe.conf ，这里我们主要修改两个参数：priority_networks 及 meta_dir ，如果你需要更多优化配置，请参考 FE 参数配置说明，进行调整。
在这里插入图片描述

注意事项：

  • priority_networks这个参数我们在安装的时候是必须要配置的，特别是当一台机器拥有多个IP地址的时候，我们要为 FE 指定唯一的IP地址。这里假设你的节点 IP 是 172.23.16.32，那么我们可以通过掩码的方式配置为 172.23.16.0/24。
  • meta_dir 这个参数指定元数据目录地址，默认是在你的Doris FE 安装目录下的 doris-meta，如果单独配置元数据目录，需要你提前创建好你指定的目录；
  • http的端口如果没有冲突，可以不修改。

3.3 启动 FE

./bin/start_fe.sh --daemon

3.4 查看 FE 运行状态

你可以通过下面的命令来检查 Doris 是否启动成功

#通过jps查看
jps
## 看到这样的打印，及表示启动成功
10441 PaloFe

你也可以通过 Doris FE 提供的Web UI 来检查，在浏览器里输入地址

http://IP:8030

可以看到下面的界面，说明 FE 启动成功
在这里插入图片描述

注意：

这里我们使用 Doris 内置的默认用户 root 进行登录，密码是空
这是一个 Doris的管理界面，只能拥有管理权限的用户才能登录，普通用户不能登录。

3.5 配置 BE

我们进入到 /doris/apache-doris-1.2.7.1-bin-x64-noavx2/be 目录
修改 BE 配置文件 conf/be.conf ，这里我们主要修改两个参数：priority_networks 及 meta_dir ，如果你需要更多优化配置，请参考 BE 参数配置说明
在这里插入图片描述

注意事项：

  • priority_networks这个参数我们在安装的时候是必须要配置的，特别是当一台机器拥有多个IP地址的时候，我们要为 BE 指定唯一的IP地址。这里假设你的节点 IP 是 172.23.16.32，那么我们可以通过掩码的方式配置为 172.23.16.0/24。
  • storage_root_path 这个参数指定数据目录地址，默认目录在 BE安装目录的 storage 目录下。，如果单独配置数据目录，需要你提前创建好你指定的目录；
  • **webserver_port，brpc_port **的端口如果没有冲突，可以不修改。

3.6 启动 BE

在 BE 安装目录下执行下面的命令，来完成 BE 的启动。

./bin/start_be.sh --daemon

注意：

BE结点和FE结点启动先后次序无要求

3.7 给doris配置密码

3.7.1 准备Mysql Client环境

首先需要有 Mysql Client 端。
如果没有Mysql Client 端环境，安装也很简单

yum install mysql

mysql 的命令行客户端就安装好了！！！

mysql -uroot -P9030 -p -h192.168.54.53

在这里插入图片描述

3.7.2 查看fe状态
show proc '/frontends' \G

在这里插入图片描述
红框内表示该节点的机器是leader。

3.7.3 查看be状态

在这里插入图片描述

3.7.4 设置密码
#设置密码
set password = password('123456');

在这里插入图片描述
设置完密码，就可以用navicat进行连接测试了（使用mysql的方式进行连接，因为doris用的传输协议跟mysql一致），连接完就可以用navicat进行建库/建表等操作
在这里插入图片描述

3.8 添加 BE 节点到集群

#添加be
alter system add backend "192.168.54.53:9050";

在这里插入图片描述

配置语法：ALTER SYSTEM ADD BACKEND “be_host_ip:heartbeat_service_port”;

  • be_host_ip：这里是你 BE 的 IP 地址，和你在 be.conf 里的 priority_networks 匹配，需要具体ip
  • heartbeat_service_port：这里是你 BE 的心跳上报端口，和你在 be.conf 里的 heartbeat_service_port 匹配，默认是 9050。

3.9 查看 BE 运行状态

你可以在 MySQL 命令行下执行下面的命令查看 BE 的运行状态。

SHOW BACKENDS

3.10 简单用法

（1）创建一个数据库

create database demo;

（2）创建数据表

use demo;

CREATE TABLE IF NOT EXISTS demo.user_lab(
    `user_id` LARGEINT NOT NULL COMMENT "用户id",
    `date` DATE NOT NULL COMMENT "数据灌入日期时间",
    `city` VARCHAR(20) COMMENT "用户所在城市",
    `age` SMALLINT COMMENT "用户年龄",
    `sex` TINYINT COMMENT "用户性别",
    `last_visit_date` DATETIME REPLACE DEFAULT "1970-01-01 00:00:00" COMMENT "用户最后一次访问时间",
    `cost` BIGINT SUM DEFAULT "0" COMMENT "用户总消费",
    `max_dwell_time` INT MAX DEFAULT "0" COMMENT "用户最大停留时间",
    `min_dwell_time` INT MIN DEFAULT "99999" COMMENT "用户最小停留时间"
)
AGGREGATE KEY(`user_id`, `date`, `city`, `age`, `sex`)
DISTRIBUTED BY HASH(`user_id`) BUCKETS 1
PROPERTIES (
    "replication_allocation" = "tag.location.default: 1"
);

（3）查询数据

select * from demo.user_lab;

（4）WebUI查询数据
在这里插入图片描述

三、完结

完！

bacawa
关注
  • 26
    点赞
  • 踩
  • 33
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
从建表语句带你学习doris_表索引
上好佳的博客
04-15 513
索引是所有数据库系统提高查询性能的一个重要手段，简单的说其作用相当于我们查询汉语词典的目录，通过部首或者拼音快速帮助我们定位到某个汉字。索引通过一定的组织格式能够快速定位到数据表中的数据。内建的智能索引，包括前缀索引和 ZoneMap 索引。用户手动创建的二级索引，包括倒排索引bloomfilter索引和ngram bloomfilter索引。不同于传统的数据库设计，Doris 不支持在任意列上创建索引。Doris 这类 MPP 架构的 OLAP 数据库，通常都是通过提高并发，来处理大量数据的。
doris阿里云K8s部署文档
08-30
doris通过阿里云K8s部署文档
Doris基础使用手册.pdf
06-21
Doris基础使用手册.pdf
Apache Doris新手指南：10分钟内搭建数据分析引擎！_doris priority_netwoks
最新发布
2401_84616088的博客
05-10 757
SinceVersion 1.2.0安装Java UDF 函数因为从1.2 版本开始支持Java UDF 函数，需要从官网下载 Java UDF 函数的 JAR 包放到 BE 的 lib 目录下，否则可能会启动失败。Doris支持基于SSL的加密连接，当前支持TLS1.2，TLS1.3协议，可以通过以下配置开启Doris的SSL模式： 修改FE配置文件。这个参数我们在安装的时候是必须要配置的，特别是当一台机器拥有多个IP地址的时候，我们要为 BE 指定唯一的IP地址。然后执行下面的命令连接 Doris。
Docker单机部署Doris超详细图文教程
luoyeyilin的专栏
12-29 2915
Docker单机部署Doris超详细图文教程
Doris-01-Doris的简介和安装
迷雾总会解
06-23 1358
Apache Doris 由百度大数据部研发（之前叫百度 Palo，2018 年贡献到 Apache 社区后，更名为 Doris ），在百度内部，有超过 200 个产品线在使用，部署机器超过 1000 台，单一业务最大可达到上百 TB。Apache Doris 是一个现代化的 MPP（Massively Parallel Processing，即大规模并行处理）分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。
Doris简介、部署、功能介绍以及架构设计
热门推荐
wt334502157的博客
05-10 2万+
​ Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris 能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB 实验平台、日志检索分析、用户画像分析、订单分析等应用。
Doris(一)-简介、架构、编译、安装和数据表的基本使用
大数据知识梳理
12-26 1万+
Doris的基本介绍和基本使用
Doris-简介、架构、编译、安装和数据表的基本使用
eagle89的专栏
06-21 4645
Doris-简介、架构、编译、安装和数据表的基本使用
大数据 - Doris系列《一》- Doris简介
weixin_40968325的博客
01-04 1768
Doris是一款开源的分布式OLAP（联机分析处理）数据库引擎，旨在支持高并发、大规模的数据查询和分析需求。本篇文章将深入介绍OLAP和OLTP的区别，明确它们在用户行为日志数据场景中的应用。我们将比较OLAP和OLTP在处理大规模数据时的性能和优势，并探讨开源OLAP引擎的选择。
Doris单机部署
小强签名设计 的博客
02-22 1802
Doris 的简单部署使用
Doris和ClickHouse对比简介
03-07
Doris和ClickHouse对比简介
Doris应用指南Doris
05-06
Doris应用指南Doris
apache doris 从部署到应用全解
06-27
apache doris 从部署到应用全解 Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景...
doris数据分析教程
04-08
│ 02-Doris的简介.mp4 │ 03-Doris的核心特性.mp4 │ 04-Doris的发展历程.mp4 │ 05-OLTP和OLAP的区别.mp4 │ 06-OLAP存储引擎的分类.mp4 │ 07-Doris的应用场景和使用企业.mp4! │ 08-Doris的架构-极简架构.mp4 │...
doris（一）单节点部署
Interest1_wyt的博客
10-16 3808
doris单节点FE BE快速部署
Doris
Zhang_Jian
03-22 1857
一、简介Doris（原百度 Palo）是一款 基于大规模并行处理技术的分布式 SQL 数据库。/基于 MPP 的交互式SQL数据仓库，可用于 OLAP。MPP 是将任务并行的分散到多个服务器和节点上，在每个节点上计算完成后，将各自部分的结果汇总在一起得到最终的结果。
doris数据库介绍
weixin_43498142的博客
02-07 2826
Apache Doris是一个分布式在线分析处理（OLAP）数据库，它的特点是基于列存储的MPP架构，支持快速的交互式查询和高并发的随机写入。
Apache Doris使用总结
05-04 7044
doris简介到特性到一些简单的进阶用法
doris docker 部署安装
04-11
很高兴回答你的问题！关于Doris Docker 部署安装，以下是一些简单的指南： 1.首先，确保你的机器上已经安装了Docker 2.下载Doris Docker的镜像，并且启动 3.创建一个Doris 的配置文件，并且将其映射为容器内的文件 4.在配置文件中，配置 Doris的参数，例如端口号和数据目录 5.启动容器，并且连接到Doris实例 希望这些简单的指南可以帮助你安装和部署Doris Docker实例。如果你有其他问题或需求，可以继续向我提问。谢谢！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值