Apache Doris (五) ：Doris分布式部署（二） FE扩缩容

最新推荐文章于 2024-05-30 10:48:56 发布
最新推荐文章于 2024-05-30 10:48:56 发布
阅读量1k 收藏 9
点赞数 3
分类专栏： Apache Doris 大数据OLAP体系技术栈 文章标签： sql database 数据库 数据仓库 etl etl工程师
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32020645/article/details/131371503
版权
大数据OLAP体系技术栈 同时被 2 个专栏收录
119 篇文章 21 订阅 ¥29.90 ¥99.00
订阅专栏
Apache Doris
43 篇文章 29 订阅
订阅专栏

目录

1. 通过MySQL客户端连接Doris

​​​​​​​​​​​​​​2. FE Follower扩缩容

​​​​​​​3. FE Observer 扩缩容

​​​​​​​​​​​​​​4. FE扩缩容注意点

进入正文之前，欢迎订阅专题、对博文点赞、评论、收藏，关注IT贫道，获取高质量博客内容！

FE扩缩容包括FE中Follower的扩缩容和FE中Observer的扩缩容，根据节点划分，这里配置3台Follower(node1~node3)和2台Observer（node4、node5）。

​​​​​​​1. 通过MySQL客户端连接Doris

Doris 采用 MySQL 协议进行通信，用户可通过 MySQL client 或者 MySQL JDBC连接到 Doris 集群。选择 MySQL client 版本时建议采用5.1 之后的版本，因为 5.1 之前不能支持长度超过 16 个字符的用户名。

给FE进行扩容同样需要通过MySQL客户端来连接Doris FE ，可以在node1节点上下载免安装的MySQL，命令如下：

[root@node1 ~]# cd /software/
[root@node1 ~]# wget https://cdn.mysql.com//archives/mysql-5.7/mysql-5.7.22-linux-glibc2.12-x86_64.tar.gz

也可以在资料中获取“mysql-5.7.22-linux-glibc2.12-x86_64.tar.gz”文件。

下载完成免安装mysql后,进行解压，在bin/目录下可以找打mysql命令行工具，然后执行命令连接Doris即可，具体操作如下：

#解压 mysql-5.7.22-linux-glibc2.12-x86_64.tar.gz
[root@node1 software]# tar -zxvf ./mysql-5.7.22-linux-glibc2.12-x86_64.tar.gz 

#修改名称
[root@node1 software]# mv mysql-5.7.22-linux-glibc2.12-x86_64 mysql-5.7.22-client

#连接Doris
[root@node1 bin]# ./mysql -u root -P9030 -h127.0.0.1

注意：

  1. 连接Doris使用的 root 用户是 doris 内置的默认用户，也是超级管理员用户。关于用户权限设置可以参照官网：https://doris.apache.org/zh-CN/docs/dev/admin-manual/privilege-ldap/user-privilege/
  2. -P 是连接 Doris 的查询端口，默认端口是 9030，对应的是fe.conf里的 query_port。
  3. -h 是我们连接的 FE IP地址，如果你的客户端和 FE 安装在同一个节点可以使用127.0.0.1，这种也是 Doris 提供的如果你忘记 root 密码，可以通过这种方式不需要密码直接连接登录，进行对 root 密码进行重置。
  • 给root用户设置密码，操作如下：
#给当前登录的root用户设置密码为123456
mysql> set password = password('123456');

通过以上设置密码后，再次访问http://node1:8030时，密码需要指定成设置的密码，否则登录不上。

  • 查看Doris FE运行状态：
mysql> show frontends\G
*************************** 1. row ***************************
             Name: 192.168.179.4_9010_1675512391847
               IP: 192.168.179.4
      EditLogPort: 9010
         HttpPort: 8030
        QueryPort: 9030
          RpcPort: 9020
             Role: FOLLOWER
         IsMaster: true
        ClusterId: 131295731
             Join: true
            Alive: true
ReplayedJournalId: 1228
    LastHeartbeat: 2023-02-04 21:21:23
         IsHelper: true
           ErrMsg: 
          Version: doris-1.2.1-rc01-Unknown
 CurrentConnected: Yes
1 row in set (0.02 sec)

注意：如果 IsMaster、Join 和 Alive 三列均为true，则表示节点正常。

​​​​​​​​​​​​​​2. FE Follower扩缩容

可以通过将Apache Doris FE扩容至3个以上节点来实现FE的高可用，FE节点的扩容和缩容过程中不影响当前系统的运行。根据前面集群的规划要在node1~node3节点上搭建Apache Doris FE,目前在node1搭建好了FE并启动，该启动的FE自动成为Leader，下面在node2和node3节点配置FE后加入到Apache Doris 集群中，给Doris集群扩容，详细步骤如下：

1. 准备FE 安装包

将node1节点上配置好的FE安装包发送到node2,node3节点上

[root@node1 ~]# cd /software/doris-1.2.1/
[root@node1 doris-1.2.1]# scp -r ./apache-doris-fe/ node2:/software/doris-1.2.1/
[root@node1 doris-1.2.1]# scp -r ./apache-doris-fe/ node3:/software/doris-1.2.1/

发送完成后，在node2、node3节点将“apache-doris-fe/doris-meta/”元数据清空或者重新创建该目录，否则后续启动Follower FE有问题，操作如下：

#node2节点
[root@node2 ~]# rm -rf /software/doris-1.2.1/apache-doris-fe/doris-meta/*

#node3节点
[root@node3 ~]# rm -rf /software/doris-1.2.1/apache-doris-fe/doris-meta/*

​​​​​​​​​​​​​​2. 在node2、node3上修改fe.conf配置文件

这里node2，node3 节点FE配置同node1配置，两台节点中只需要配置/software/doris-1.2.1/apache-doris-fe/conf/fe.conf配置文件中priority_networks 参数为当前节点的ip即可。

# vim /software/doris-1.2.1/apache-doris-fe/conf/fe.conf
...
priority_networks = 192.168.179.5/24 #node2节点
...
...
priority_networks = 192.168.179.6/24 #node3节点
...

​​​​​​​3. 在node2、node3上启动FE

node2、node3节点配置FE完成后，由于是Follower角色，已经存在node1为Leader，所以第一次启动时需要执行如下命令，指定Leader所在节点IP和端口，端口为在fe.conf中edit_log_port配置项，默认为9010。

#node2节点启动FE
[root@node2 ~]# cd /software/doris-1.2.1/apache-doris-fe/bin/
[root@node2 bin]# ./start_fe.sh --helper node1:9010 --daemon

#node3节点启动FE
[root@node3 ~]# cd /software/doris-1.2.1/apache-doris-fe/bin/
[root@node3 bin]# ./start_fe.sh --helper node1:9010 --daemon

注意：--helper 参数仅在follower 和observer第一次启动时才需要。

​​​​​​​​​​​​​​4. 添加FE Follower 到Doris集群

在node1中进入mysql客户端，连接到Doris集群，执行如下命令，将node2，node3启动的FE加入到集群中。

#在node1中通过mysql连接doris集群
[root@node1 bin]# ./mysql -u root -P9030 -h127.0.0.1

#执行命令，将FE Follower加入到Doris集群中
mysql> ALTER SYSTEM ADD FOLLOWER "node2:9010";
Query OK, 0 rows affected (0.05 sec)

mysql> ALTER SYSTEM ADD FOLLOWER "node3:9010";
Query OK, 0 rows affected (0.02 sec)

添加完成之后可以访问node1~node3任何一台节点的8030端口登录WebUI,查看对应的FE信息，这里登录http://node1:8030查看FE信息：

也可以通过SQL “show frontends\G”命令来查询集群信息，当加入了更多的FE后，我们可以在node1 mysql 客户端连接到node1~node3的任何一台节点来编写SQL。

#连接node3 FE 编写SQL
[root@node1 bin]# ./mysql -uroot -P9030 -h192.168.179.6 -p123456
mysql> show frontends\G;
*************************** 1. row ***************************
             Name: 192.168.179.4_9010_1675512391847
               IP: 192.168.179.4
      EditLogPort: 9010
         HttpPort: 8030
        QueryPort: 9030
          RpcPort: 9020
             Role: FOLLOWER
         IsMaster: true
        ClusterId: 131295731
             Join: true
            Alive: true
ReplayedJournalId: 3038
    LastHeartbeat: 2023-02-06 12:57:40
         IsHelper: true
           ErrMsg: 
          Version: doris-1.2.1-rc01-Unknown
 CurrentConnected: Yes
*************************** 2. row ***************************
             Name: 192.168.179.5_9010_1675659168809
               IP: 192.168.179.5
      EditLogPort: 9010
         HttpPort: 8030
        QueryPort: 9030
          RpcPort: 9020
             Role: FOLLOWER
         IsMaster: false
        ClusterId: 131295731
             Join: true
            Alive: true
ReplayedJournalId: 3037
    LastHeartbeat: 2023-02-06 12:57:40
         IsHelper: true
           ErrMsg: 
          Version: doris-1.2.1-rc01-Unknown
 CurrentConnected: No
*************************** 3. row ***************************
             Name: 192.168.179.6_9010_1675659173265
               IP: 192.168.179.6
      EditLogPort: 9010
         HttpPort: 8030
        QueryPort: 9030
          RpcPort: 9020
             Role: FOLLOWER
         IsMaster: false
        ClusterId: 131295731
             Join: true
            Alive: true
ReplayedJournalId: 3037
    LastHeartbeat: 2023-02-06 12:57:40
         IsHelper: true
           ErrMsg: 
          Version: doris-1.2.1-rc01-Unknown
 CurrentConnected: No
3 rows in set (0.05 sec)

ERROR: 
No query specified

至此，Apache Doris集群中已经完成3台FE Follower的部署（node1~node3）。

对FE Follower扩容完成后，也可以通过以下命令来进行FE Follower缩容，删除FE Follower节点，需要保证最终剩余的Follower（包括Leader）节点为奇数，这里不再演示FE缩容。

#对FE进行缩容命令
ALTER SYSTEM DROP FOLLOWER "fe_host:edit_log_port";

注意：如果缩容后再将该节点加入到集群中需要清空元数据目录：rm -rf /software/doris-1.2.1/apache-doris-fe/doris-meta/*

​​​​​​​3. FE Observer 扩缩容

Observer的扩缩容也是基于已有一台FE Leader的前提下进行，这里node1为FE Leader，我们将要在node4，node5节点上配置Observer，Observer配置流程与FE Follower的扩缩容大体一致，步骤如下：

1. 准备FE 安装包

将node1节点上配置好的FE安装包发送到node4,node5节点上

[root@node1 ~]# cd /software/doris-1.2.1/
[root@node1 doris-1.2.1]# scp -r ./apache-doris-fe/ node4:/software/doris-1.2.1/
[root@node1 doris-1.2.1]# scp -r ./apache-doris-fe/ node5:/software/doris-1.2.1/

发送完成后，在node4、node5节点将“apache-doris-fe/doris-meta/”元数据清空或者重新创建该目录，否则后续启动Follower FE有问题，操作如下：

#node4节点清空doris-meta目录
[root@node4 ~]# rm -rf /software/doris-1.2.1/apache-doris-fe/doris-meta/*

#node5节点清空doris-meta目录
[root@node5 ~]# rm -rf /software/doris-1.2.1/apache-doris-fe/doris-meta/*

​​​​​​​​​​​​​​2. 在node4、node5上修改fe.conf配置文件

这里node4，node5 节点FE配置同node1配置，两台节点中只需要配置/software/doris-1.2.1/apache-doris-fe/conf/fe.conf配置文件中priority_networks 参数为当前节点的ip即可。

# vim /software/doris-1.2.1/apache-doris-fe/conf/fe.conf
...
priority_networks = 192.168.179.7/24 #node4节点
...
...
priority_networks = 192.168.179.8/24 #node5节点
...

​​​​​​​​​​​​​​3. 在node4、node5上启动FE

node4、node5节点配置FE完成后，由于是Observer角色，已经存在node1为FE Leader，与添加Follower一样，第一次启动时需要执行如下命令，指定Leader所在节点IP和端口，端口为在fe.conf中edit_log_port配置项，默认为9010。

#node4节点启动FE
[root@node4 ~]# cd /software/doris-1.2.1/apache-doris-fe/bin/
[root@node4 bin]# ./start_fe.sh --helper node1:9010 --daemon

#node5节点启动FE
[root@node5 ~]# cd /software/doris-1.2.1/apache-doris-fe/bin/
[root@node5 bin]# ./start_fe.sh --helper node1:9010 --daemon

注意：--helper 参数仅在follower 和observer第一次启动时才需要。

​​​​​​​​​​​​​​4. 添加FE Observer到Doris集群

在node1中进入mysql客户端，连接到Doris集群，执行如下命令，将node4，node5启动的FE加入到集群中。

#在node1中通过mysql连接doris集群
[root@node1 bin]# ./mysql -u root -P9030 -h127.0.0.1

#执行命令，将FE Observer加入到Doris集群中
mysql> ALTER SYSTEM ADD OBSERVER "node4:9010";
Query OK, 0 rows affected (0.05 sec)

mysql> ALTER SYSTEM ADD OBSERVER "node5:9010";
Query OK, 0 rows affected (0.02 sec)

注意：以上添加OBSERVER 操作与添加FOLLOWER操作命令类似，只是添加的角色不同：ALTER SYSTEM ADD FOLLOWER[OBSERVER] "fe_host:edit_log_port"。

添加完成之后可以访问node1~node5任何一台节点的8030端口登录WebUI,查看对应的FE信息，这里登录http://node1:8030查看FE信息：

 也可以通过SQL “show frontends\G”命令来查询集群信息，当加入了更多的FE后，我们可以在node1 mysql 客户端连接到node1~node5的任何一台节点来编写SQL。

#连接node5 FE 编写SQL
[root@node1 bin]# ./mysql -uroot -P9030 -h192.168.179.8 -p123456
mysql> show frontends\G;
*************************** 1. row ***************************
             Name: 192.168.179.8_9010_1675670545934
               IP: 192.168.179.8
      EditLogPort: 9010
         HttpPort: 8030
        QueryPort: 9030
          RpcPort: 9020
             Role: OBSERVER
         IsMaster: false
        ClusterId: 131295731
             Join: true
            Alive: true
ReplayedJournalId: 6430
    LastHeartbeat: 2023-02-06 16:06:13
         IsHelper: false
           ErrMsg: 
          Version: doris-1.2.1-rc01-Unknown
 CurrentConnected: Yes
*************************** 2. row ***************************
             Name: 192.168.179.4_9010_1675512391847
               IP: 192.168.179.4
      EditLogPort: 9010
         HttpPort: 8030
        QueryPort: 9030
          RpcPort: 9020
             Role: FOLLOWER
         IsMaster: true
        ClusterId: 131295731
             Join: true
            Alive: true
ReplayedJournalId: 6431
    LastHeartbeat: 2023-02-06 16:06:13
         IsHelper: true
           ErrMsg: 
          Version: doris-1.2.1-rc01-Unknown
 CurrentConnected: No
*************************** 3. row ***************************
             Name: 192.168.179.5_9010_1675659168809
               IP: 192.168.179.5
      EditLogPort: 9010
         HttpPort: 8030
        QueryPort: 9030
          RpcPort: 9020
             Role: FOLLOWER
         IsMaster: false
        ClusterId: 131295731
             Join: true
            Alive: true
ReplayedJournalId: 6430
    LastHeartbeat: 2023-02-06 16:06:13
         IsHelper: true
           ErrMsg: 
          Version: doris-1.2.1-rc01-Unknown
 CurrentConnected: No
*************************** 4. row ***************************
             Name: 192.168.179.6_9010_1675659173265
               IP: 192.168.179.6
      EditLogPort: 9010
         HttpPort: 8030
        QueryPort: 9030
          RpcPort: 9020
             Role: FOLLOWER
         IsMaster: false
        ClusterId: 131295731
             Join: true
            Alive: true
ReplayedJournalId: 6430
    LastHeartbeat: 2023-02-06 16:06:13
         IsHelper: true
           ErrMsg: 
          Version: doris-1.2.1-rc01-Unknown
 CurrentConnected: No
*************************** 5. row ***************************
             Name: 192.168.179.7_9010_1675670543490
               IP: 192.168.179.7
      EditLogPort: 9010
         HttpPort: 8030
        QueryPort: 9030
          RpcPort: 9020
             Role: OBSERVER
         IsMaster: false
        ClusterId: 131295731
             Join: true
            Alive: true
ReplayedJournalId: 6430
    LastHeartbeat: 2023-02-06 16:06:13
         IsHelper: false
           ErrMsg: 
          Version: doris-1.2.1-rc01-Unknown
 CurrentConnected: No
5 rows in set (0.10 sec)

至此，Apache Doris集群中已经完成3台FE Follower的部署（node1~node3）、2台Observer的部署（node4、node5）。

对FE Observer扩容完成后，也可以通过以下命令来进行FE Observer缩容，删除FE Observer节点。操作如下：

#将node4、node5 FE Observer进行缩容命令
mysql> ALTER SYSTEM DROP OBSERVER "node4:9010";
mysql> ALTER SYSTEM DROP OBSERVER "node5:9010";

对Observer进行缩容后，再次将对应节点node4、node5加入到Doris FE中就可以按照扩容操作实现。这里只需要将node4、node5节点上“/software/doris-1.2.1/apache-doris-fe/doris-meta”元数据目录清空，启动node4、node5对应的FE进程，然后执行添加命令即可：

#node4节点启动FE
[root@node4 ~]# cd /software/doris-1.2.1/apache-doris-fe/bin/
[root@node4 bin]# ./start_fe.sh --helper node1:9010 --daemon

#node5节点启动FE
[root@node5 ~]# cd /software/doris-1.2.1/apache-doris-fe/bin/
[root@node5 bin]# ./start_fe.sh --helper node1:9010 --daemon

#将node4、node5 FE OBserver 再次加入到Doris集群命令
mysql> ALTER SYSTEM ADD OBSERVER "node4:9010";
mysql> ALTER SYSTEM ADD OBSERVER "node5:9010";

​​​​​​​​​​​​​​4. FE扩缩容注意点

FE 进行扩缩容时需要注意以下几点：

  1. Follower FE（包括 Leader）的数量必须为奇数，建议最多部署 3 个组成高可用（HA）模式即可。
  2. 当 FE 处于高可用部署时（1个 Leader，2个 Follower），我们建议通过增加 Observer FE 来扩展 FE 的读服务能力。当然也可以继续增加 Follower FE，但几乎是不必要的。
  3. 通常一个 FE 节点可以应对 10-20 台 BE 节点。建议总的 FE 节点数量在 10 个以下。而通常3个即可满足绝大部分需求。
  4. 添加FE 时需要将对应安装包中doris-meta目录清空。
  5. helper 不能指向 FE 自身，必须指向一个或多个已存在并且正常运行中的 Master/Follower FE。
  6. 删除 Follower FE 时，确保最终剩余的 Follower（包括 Leader）节点为奇数。
IT贫道
关注
  • 3
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Apache Doris (四) ：Doris分布式部署（一） FE部署及启动
qq_32020645的博客
06-24 4754
Apache Doris 中部署多FE的思路为先在一台节点上配置部署一个FE并启动，相当于是启动Doris服务，然后配置更多的FE节点，添加到Doris服务中给该Doris的FE进行扩容，最终形成多节点FE。在node1节点上修改/software/doris-1.2.1/apache-doris-fe/conf/fe.conf配置文件，这里我们主要修改两个参数：priority_networks 及 meta_dir。各个节点上修改/etc/fstab文件，注释掉带有swap的行。
Apache Doris 1.1.2 FE 安装包
10-02
Apache Doris 是一款高效、易用的开源列式数据库，...总之，Apache Doris 1.1.2 的 FE 安装是大数据实时分析项目的关键步骤，理解其工作原理和配置细节，结合社区资源，能帮助你顺利部署并高效使用这一强大的分析引擎。
Doris使用总结
csdncjh的博客
04-19 3304
Apache Doris是由百度贡献的开源MPP分析型数据库产品，亚秒级查询响应时间，支持实时数据分析；分布式架构简洁，易于运维，可以支持10PB以上的超大数据集；可以满足多种数据分析需求，例如固定历史报表，实时数据分析，交互式数据分析和探索式数据分析等。Doris更优的方面使用更简单，如建表更简单，SQL标准支持更好， Join性能更好，导数功能更强大运维更简单，如灵活的扩缩容能力，故障节点自动恢复，社区提供的支持更好。
doris FE编译启动流程
最新发布
pengli
05-30 192
doris fe 的编译与启动
Doris--基础--09--doris的高可用方案
zhou920786312的博客
03-08 919
当部署多个 FE 节点时，用户可以在多个fe上部署负载均衡 实现高可用。
最新Doris安装部署（保姆级教程）
热门推荐
u013618714的博客
05-18 1万+
Doris详细部署
Doris进阶——初识Doris_FE、BE、BROKER的扩缩容
weixin_59812175的博客
06-15 9269
Doris的简单介绍以及FE、BE、BROKER的扩缩容
Apache Doris 1.1.2 BE 安装包
10-02
首先，Doris采用了分布式架构，由FE和BE两部分组成。FE主要负责元数据管理、SQL解析、查询计划生成，而BE则负责数据存储和计算。在多节点集群中，每个节点上都会部署BE实例，以实现数据的水平扩展。 1. **下载与...
doris-fe编译文件包
10-22
通常，Apache Doris的FE组件是其分布式数据库系统的重要组成部分，负责元数据管理、查询解析、查询计划生成等核心功能。在源码编译过程中，开发者需要安装JDK、Maven等基础软件，并确保所有依赖库和配置文件正确无误...
apache-doris-0.12.0.tar.gz
08-12
Apache Doris 是一款开源的、高性能的列式数据库，常用于在线分析处理（OLAP）场景，为企业的大数据分析提供快速、高效的查询能力。Doris 的设计灵感来源于 Google Dremel，它支持实时数据摄取和多级索引，使得在大...
如何快速定位线上Doris FE内存使用过高问题.pdf
09-21
在使用Apache Doris的过程中，有时会遇到线上Doris Frontend（FE）内存使用过高的问题。Doris系统架构中，FE主要负责元数据管理、查询请求解析与计划生成，而Backend（BE）则承担主要的数据存储和计算工作。尽管大...
Apache Doris整体架构、FE元数据管理及数据组织
weixin_42886699的博客
08-22 618
Doris主要分为FE和BE两个组件，FE主要负责查询的编译，分发和元数据管理（基于内存，类似HDFS NN）；BE主要负责查询的执⾏和 存储系统。1、这张图是Doris的整体架构。Doris的架构很简洁，只设FE(Frontend)、BE(Backend)两种⾓⾊、两个进程，不依赖于外部组件，⽅便 部署和运维。2、以数据存储的⾓度观之，FE存储、维护集群元数据；BE存储物理数据。3、以查询处理的⾓度观之, FE节点接收、解析查询请求，规划查询计划，调度查询执⾏，返回查询结果；
Doris(三)-集群部署3个FE+3个BE
a80C51的博客
08-03 5783
这里是因为已经启动过其他两个节点了。需要停掉所有FE之后，删除每个节点上doria-meta里面的内容之后。重新配置FE的关系。配置好主节点，并将相关FOLLOWER和OBSERVER信息都加入主节点的FE之后，再启动剩下两个节点的FE。看backends，显示alive，即为Backend搭建正常。输入如下sql，添加FOLLOWER和OBSERVER。此步也可以不配，不配，则默认在fe的安装目录下生成。a）在主节点上利用mysql客户端登录FE。第三节点（OBSERVER）第一个节点（主节点）
Doris数据库FE——全局事务状态机
肥叔菌的博客
10-31 859
从上述报错可以看出begin、commit、rollback等操作只有和insert操作结合使用。从上述可以猜测Doris数据库的事务性仅限于此。如下为全局事务支持的相关插入数据的操作。
Doris修改root密码、新增用户、用户赋权等操作
2301_81547508的博客
12-21 3180
Doris服务搭建好以后，如何修改管理账户的密码，新建用户、用户赋权等操作
Doris FE启动流程源码解读
齐天大圣数据候的博客
06-19 938
Doris中FE主要负责接收和返回客户端请求、元数据以及集群管理、查询计划生成等工作。本文主要看一下Doris的fe在启动时做了什么。
Doris-1.2.0安装部署详细流程
不以物喜的博客
01-31 4106
Doris是一个MPP的OLAP系统，以较低的成本提供在大数据集上的高性能分析和报表查询功能。MPP (Massively Parallel Processing)，即大规模并行处理。简单来说，MPP是将任务并行的分散到多个服务器和节点上，在每个节点上计算完成后，将各自部分的结果汇总在一起得到终的结果(与Hadoop相似)。
Doris节点扩容及数据表
weixin_45012397的博客
05-26 1470
表中的列按照是否设置了 AggregationType，分为 Key（维度列）和 Value（指标列），没有设置 AggregationType 的称为 Key，设置了 AggregationType 的称为 Value。该模型本质上是聚合模型的一个特例，也是一种简化的表结构表示方式。查询结果后发现，插入的数据全部会被保留，即使两条数据一模一样，也会保留，正常可以操作用户行为日志数据这种。查看数据的时候发现，数据只剩下6条了，就是因为再key相同的时候，将后面的结果聚合了。Row 即用户的一行数据。
4-4+Apache+Doris：在线分析型分布式数据库.pdf
03-18
Apache Doris是一款由百度开发并于2017年开源的在线分析型（OLAP）分布式数据库，其设计初衷是基于AMPP基础构建交互式数据分析的SQL数据库，支持处理大规模结构化数据，如点击流、金融、社交和运营数据。它以PB级别...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT贫道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值