Apache Doris 快速入门

已于 2023-09-21 12:48:14 修改
阅读量615 收藏
点赞数
分类专栏： 数据计算与分析组件 文章标签： 大数据 Doris
于 2023-09-20 23:09:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37536020/article/details/133071105
版权

1. 基本概念

  • FE，Frontend，前端节点，接收用户查询请求，SQL解析，执行计划生成，元数据管理，节点管理等

  • BE，Backend，后端节点，数据存储，执行查询计划。

    前端节点FE 和 后端节点BE 各自独立运行，互不影响。

  • broker：用来和外部文件系统打交道

2. 修改配置

DORIS_HOME=/export/server/doris-1.2.4.1

node1：安装doris的机器名

配置文件修改参数
$DORIS_HOME/fe/conf/fe.conf

priority_networks = node1/24

meta_dir = DORIS_HOME/fe/doris-meta

$DORIS_HOME/be/conf/be.conf

priority_networks = node1/24

storage_root_path = DORIS_HOME/be/storage1,10;DORIS_HOME/be/storage2

$DORIS_HOME//extensions/apache_hdfs_broker

/conf/apache_hdfs_broker.conf

3. 启动脚本

启动脚本运行进程
$DORIS_HOME/fe/bin/start_fe.sh --daemonPaloFe

ulimit -n 60000

sysctl -w vm.max_map_count=2000000

$DORIS_HOME/be/bin/start_be.sh --daemon

ps -ef | grep be  
$DORIS_HOME//extensions/apache_hdfs_broker/bin/start_broker.sh --daemonBrokerBootstrap

4. 停止脚本

$DORIS_HOME/fe/bin/stop_fe.sh
$DORIS_HOME/be/bin/stop_be.sh 
$DORIS_HOME//extensions/apache_hdfs_broker/bin/stop_broker.sh 

5. Doris端口

常用端口

webui: node1:8030

FE上的MySQL Server端口: 9030

6. MySQL客户端连接Doris

mysql -uroot -P9030 -hnode1

-u 此处使用的root用户是doris内置的默认用户，也是超级管理员用户

-P:这是我们连接到Doris的查询端口，默认端口是9030，对应于fe.conf中的query_port

-h:这是我们连接的FE的IP地址，如果你的客户端和FE安装在同一个节点上，可以使用127.0.0.1

查看FE、BE、Broker运行状态

show frontends\G;
show backends\G;
show broker\G;

扩缩容

#1.扩容
#1.1添加前端
ALTER SYSTEM ADD FRONTEND "192.168.0.1:9050";
#1.2添加后端
ALTER SYSTEM ADD BACKEND "192.168.0.1:9050";

#2.缩容
#1.1剔除前端
ALTER SYSTEM DROP FRONTEND "host1:port", "host2:port";
#1.2剔除后端
ALTER SYSTEM DROP BACKEND "host1:port", "host2:port";

清屏: CTRL + L

7. 创建表

建表

修改分区

mysql> ALTER TABLE demo.example_tb1 ADD PARTITION IF NOT EXISTS `p202005` VALUES LESS THAN ("2020-06-01");
Query OK, 0 rows affected (0.54 sec)

mysql> ALTER TABLE demo.example_list_tb2 ADD PARTITION IF NOT EXISTS p_uk VALUES IN ("London");
Query OK, 0 rows affected (0.25 sec)

mysql> ALTER TABLE demo.example_tb1 DROP PARTITION IF EXISTS p202005;
Query OK, 0 rows affected (0.09 sec)

mysql> ALTER TABLE demo.example_list_tb2 DROP PARTITION IF EXISTS p_uk;
Query OK, 0 rows affected (0.03 sec)

分区可以省略，如果省略的话，默认Doris系统会创建一个分区，这个分区成为单分区，它的分区名字和表名一样。这种很常用。

数据模型

Aggregate Key，相同的key，value会做聚合操作。按照给定的聚合函数 (sum、max、min、replace) 进行聚合。

Unique Key，保证key列的唯一性。只要key相同，新的值会覆盖旧的值。

Duplicate Key，运行数据冗余存储，保留数据原始的样子，不会对数据做任何操作。

建表时，可以省略，默认是冗余模型。

8. 数据操作

数据导入

数据导出

数据删除

数据修改

9. Rollup 和 物化视图

Doris建表默认是有顺序的，这个顺序就是字段的顺序，可以认为这就是它默认的聚合索引。若根据某字段过滤数据，根据索引最左匹配原则，有可能索引失效，导致全表扫描。

rollup可以调整字段顺序，使字段顺序尽可能匹配过滤字段，以此增加前缀索引的匹配度，提升查询效率。

查看表的Rollup：

desc table_name all;

创建Rollup：

alter table table_name add rollup rollup_name (field1,field2...);
#1.创建rollup
mysql> alter table example_site_visit add rollup rollup_cost_userid(user_id,cost);

#2.再创建rollup
mysql>alter table example_site_visit add rollup rollup_cost_userid2(age,date,city,user_id,sex,last_visit_date,cost,max_dwell_time,min_dwell_time);

mysql> desc example_site_visit all;
+---------------------+---------------+-----------------+-------------+--------------+------+-------+---------------------+---------+---------+
| IndexName           | IndexKeysType | Field           | Type        | InternalType | Null | Key   | Default             | Extra   | Visible |
+---------------------+---------------+-----------------+-------------+--------------+------+-------+---------------------+---------+---------+
| example_site_visit  | AGG_KEYS      | user_id         | LARGEINT    | LARGEINT     | No   | true  | NULL                |         | true    |
|                     |               | date            | DATE        | DATE         | No   | true  | NULL                |         | true    |
|                     |               | city            | VARCHAR(20) | VARCHAR(20)  | Yes  | true  | NULL                |         | true    |
|                     |               | age             | SMALLINT    | SMALLINT     | Yes  | true  | NULL                |         | true    |
|                     |               | sex             | TINYINT     | TINYINT      | Yes  | true  | NULL                |         | true    |
|                     |               | last_visit_date | DATETIME    | DATETIME     | Yes  | false | 1970-01-01 00:00:00 | REPLACE | true    |
|                     |               | cost            | BIGINT      | BIGINT       | Yes  | false | 0                   | SUM     | true    |
|                     |               | max_dwell_time  | INT         | INT          | Yes  | false | 0                   | MAX     | true    |
|                     |               | min_dwell_time  | INT         | INT          | Yes  | false | 99999               | MIN     | true    |
|                     |               |                 |             |              |      |       |                     |         |         |
| rollup_cost_userid  | AGG_KEYS      | user_id         | LARGEINT    | LARGEINT     | No   | true  | NULL                |         | true    |
|                     |               | cost            | BIGINT      | BIGINT       | Yes  | false | 0                   | SUM     | true    |
|                     |               |                 |             |              |      |       |                     |         |         |
| rollup_cost_userid2 | AGG_KEYS      | age             | SMALLINT    | SMALLINT     | Yes  | true  | NULL                |         | true    |
|                     |               | date            | DATE        | DATE         | No   | true  | NULL                |         | true    |
|                     |               | city            | VARCHAR(20) | VARCHAR(20)  | Yes  | true  | NULL                |         | true    |
|                     |               | user_id         | LARGEINT    | LARGEINT     | No   | true  | NULL                |         | true    |
|                     |               | sex             | TINYINT     | TINYINT      | Yes  | true  | NULL                |         | true    |
|                     |               | last_visit_date | DATETIME    | DATETIME     | Yes  | false | 1970-01-01 00:00:00 | REPLACE | true    |
|                     |               | cost            | BIGINT      | BIGINT       | Yes  | false | 0                   | SUM     | true    |
|                     |               | max_dwell_time  | INT         | INT          | Yes  | false | 0                   | MAX     | true    |
|                     |               | min_dwell_time  | INT         | INT          | Yes  | false | 99999               | MIN     | true    |
+---------------------+---------------+-----------------+-------------+--------------+------+-------+---------------------+---------+---------+
22 rows in set (0.01 sec)

物化视图

Doris的物化视图，本质上也是一个rollup，只是语法不一样。

mysql> CREATE MATERIALIZED VIEW example_site_visit_mv AS
    -> SELECT user_id,city,SUM(cost)
    -> FROM example_site_visit
    -> GROUP BY user_id,city;
Query OK, 0 rows affected (0.20 sec)

mysql> desc example_site_visit all

10. 内置函数

语法:show builtin functions in database_name;

使用:show builtin functions in demo;

使用方式: help + 函数名;

请点击查看更多函数，查看左侧导航树

11. 动态分区

开启动态分区

#1.开启动态分区,root用户未设置密码，所以为空
curl --location-trusted -u root: -XGET http://node1:8030/api/_set_config?dynamic_partition_enable=true

#2.设置动态分区的检测时间间隔，root用户未设置密码，所以为空
curl --location-trusted -u root: -XGET http://node1:8030/api/_set_config?dynamic_partition_check_interval_seconds=5

动态分区语法

PARTITION BY RANGE('分区字段')()

动态分区不支持list分区

创建动态分区表

-- 创建分区
CREATE TABLE order_dynamic_partition
(
	id int,
	time date,
	money double,
	areaName varchar(50)
)
duplicate key(id,time)
PARTITION BY RANGE(time)()
DISTRIBUTED BY HASH(id) buckets 10
PROPERTIES(
	"dynamic_partition.enable" = "true",
	"dynamic_partition.time_unit" = "DAY", --四种动态分区类型：HOUR,DAY,WEEK,MONTH
	"dynamic_partition.start" = "-7", -- 保留到7天前的分区
    "dynamic_partition.end" = "3", --也创建后3天的分区
    "dynamic_partition.prefix" = "p", --分区名称前缀
    "dynamic_partition.buckets" = "10", 
	"replication_num" = "1"
);

-- 查看分区
show partitions from order_dynamic_partition;

查看动态分区表

show dynamic partition tables;

动态分区表  与  静态分区表 的转换开关

"dynamic_partition.enable" = "true"

true为开启动态分区，false为普通分区

-- 创建静态分区表
CREATE TABLE table_partition
(
    id int,
    time date,
    money double,
    areaName varchar(50)
)
duplicate key(id,time)
PARTITION BY RANGE(time)
(
    PARTITION `p202001` VALUES LESS THAN ("2020-02-01"),
    PARTITION `p202002` VALUES LESS THAN ("2020-03-01"),
    PARTITION `p202003` VALUES LESS THAN ("2020-04-01")
)
DISTRIBUTED BY HASH(id) buckets 10
PROPERTIES
(
   "dynamic_partition.enable" = "false",
    "dynamic_partition.time_unit" = "DAY",
    "dynamic_partition.prefix" = "p",
    "dynamic_partition.end" = "3",
    "dynamic_partition.buckets" = "10",
    "replication_num" = "1"
);

-- 静态分区表转换为动态分区表
ALTER TABLE table_partition set ("dynamic_partition.enable" = "true");
-- 动态分区表转换为静态分区表
ALTER TABLE table_partition set ("dynamic_partition.enable" = "false");

时下握今
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
初学者对doris安装及使用
02-12
对doris的安装进行了较为详尽的描述，针对不同系统和用户载安装过程中遇到的各个程序进行筛选，比较适合于doris初学者使用，在最有有实例说明。
搭建环境06：部署Doris
m0_37559973的博客
10-04 1426
Doris 集群部署
Apache-Doris基础概念
m0_57697768的博客
03-17 1596
在AGGREGATE KEY 数据模型中，所有没有指定聚合方式（SUM、REPLACE、MAX、MIN）的列视为 Key 列。而其余则为 Value 列。Key 列必须在所有 Value 列之前。尽量选择整型类型。因为整型类型的计算和查找比较效率远高于字符串。对于不同长度的整型类型的选择原则，遵循够用即可。对于 VARCHAR 和 STRING 类型的长度，遵循 够用即可。所有列的总字节长度（包括 Key 和 Value）不能超过 100KB。
Apache Doris 入门教程04：连接方式与使用指南
sunjian286的专栏
07-04 6106
本文以 MySQL client 为例，通过一个完整的流程向用户展示 Doris 的基本使用方法。
Apache Doris 系列： 入门篇-创建数据表
锋哥聊DORIS数仓
09-06 3504
我们在成功部署完成 Doris 之后，我们可以通过任意 MySQL 客户端来连接 Doris ，下面我们的示例是通过 MySQL 客户端命令行工具来进行操作。命令来修改表的 Schema ，包括增加列，修改列类型、删除列、改变列的顺序。如果作业长时间没有完成，或者影响到了其他操作，你可以通过下面的命令来取消作业。我们执行完建表语句，表创建成功之后，我们可以通过下面的命令来查看表的相关信息。命令来查看创建好的数据库，这个命令会显示所有已经创建的数据库。，来满足不同用户场景的使用，下面我们以。
Apache Doris 入门教程01：快速开始
sunjian286的专栏
06-29 769
Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景，这个简短的指南将告诉你如何下载 Doris 最新稳定版本，在单节点上安装并运行它，包括创建数据库、数据表、导入数据及查询等。
Doris入门到精通-阶段一（简介&安装&使用）
S1124654的博客
09-11 8099
Doris入门到精通-阶段一（简介&安装&使用）
Doris使用总结
csdncjh的博客
04-19 3121
Apache Doris是由百度贡献的开源MPP分析型数据库产品，亚秒级查询响应时间，支持实时数据分析；分布式架构简洁，易于运维，可以支持10PB以上的超大数据集；可以满足多种数据分析需求，例如固定历史报表，实时数据分析，交互式数据分析和探索式数据分析等。Doris更优的方面使用更简单，如建表更简单，SQL标准支持更好， Join性能更好，导数功能更强大运维更简单，如灵活的扩缩容能力，故障节点自动恢复，社区提供的支持更好。
Apache Doris Linux环境安装部署：FE BE Broker部署及扩缩容；Doris集群一键启停脚本
学亮编程手记
02-12 1433
Doris 运行在 Linux 环境中，推荐 CentOS 7.x 或者 Ubuntu 16.04 以上版本，同时你需要安装 Java 运行环境，JDK最低版本要求是8。我们这里使用的是Linux Centos7.9版本，jdk为1.8。Broker 是用于访问外部数据源（如 hdfs）的进程，通常在每台机器上部署一个 broker 实例即可。
Apache Doris 用户案例集
08-19
Apache Doris 用户案例集
Apache Doris数据分析综合案例实战
最新发布
05-07
Apache Doris数据分析综合案例实战
Apache Doris 技术调研
09-26
Apache Doris 技术调研，建议配合我的同名博客来一同研究学习。
从ApacheDoris到SelectDBCloud下一代
11-08
从ApacheDoris到SelectDBCloud下一代云原生实时数仓的架构演进之路共38页.pdf.zip
Apache Doris (八) ：Doris分布式部署（五） Broker部署及Doris集群启动脚本
qq_32020645的博客
06-26 1333
Broker 是 Doris 集群中一种可选进程，主要用于支持 Doris 读写远端存储上的文件和目录。建议每一个 FE 和 BE 节点都部署一个 Broker。Broker 通过提供一个 RPC 服务端口来提供服务，是一个无状态的 Java 进程，负责为远端存储的读写操作封装一些操作，如 open，pread，pwrite 等等。
部署doris集群，详细步骤
weixin_45408791的博客
12-30 1716
doris集群部署
将DataEase的doris端口映射到宿主机
范一刀的博客
01-03 1734
修改DataEase中doris的yaml文件
Doris进阶——初识Doris_FE、BE、BROKER的扩缩容
weixin_59812175的博客
06-15 8940
Doris的简单介绍以及FE、BE、BROKER的扩缩容
Doris的安装部署
King_uuu的博客
01-29 2316
priority_networks=0.0.0.0/24（***注意要加0/24，不然默认主节点是127.0.0.1****）vim /etc/sysctl.conf中添加fs.file-max=655350。cat /proc/sys/fs/file-max 查看是否设置成功。stop_fe.sh（doris的fe,be节点没有启动顺序依赖）vim /etc/security/limits.conf添加。进入http://0.0.0.0:0000 网址查看节点状态。
apache Doris安装
05-20
安装Apache Doris需要以下步骤： 1. 下载和安装Java：Doris需要Java的支持，因此请确保在安装Doris之前，您已经在系统上安装了Java。您可以从官方网站上下载和安装最新版本的Java。 2. 下载和解压Doris二进制包：...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值