doris部署记录

已于 2024-03-26 11:16:53 修改
阅读量967 收藏 27
点赞数 16
文章标签： 大数据 数据库
于 2024-03-26 11:04:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44512660/article/details/137039953
版权
本文详细描述了如何在ApacheDoris2.0.6版本下进行服务器配置、下载、部署前置工作，包括FE和BE的启动步骤，以及简单的数据导入、查询和运维操作。
摘要由CSDN通过智能技术生成

文章目录

一、下载

  • 地址：https://doris.apache.org/download

二、服务器
服务器192.168.226.20192.168.226.21192.168.226.22
master✅❎❎
follower✅✅✅
observer❎❎❎
四、部署前置工作

  • 验证java版本>=1.8

    java -version

  • 创建目录/home/soft上传apache-doris-2.0.6-bin-x64.tar.gz到20/21/22服务器并解压。

    mkdir -r /home/soft

    rz上传doris文件tar包

    tar -zxvf apache-doris-2.0.6-bin-x64.tar.gz解压缩

    mv apache-doris-2.0.6-bin-x64 doris-2.0.6重命名

  • 修改fe配置文件

    192.168.226.20:cd doris-2.0.6 | vim conf/fe.conf配置priority_networks = 192.168.226.20/24

    192.168.226.21:cd doris-2.0.6 | vim conf/fe.conf配置priority_networks = 192.168.226.21/24

    192.168.226.22:cd doris-2.0.6 | vim conf/fe.conf配置priority_networks = 192.168.226.22/24

  • 修改fe默认端口避免冲突

    ##默认端口：
http_port = 8030
rpc_port = 9020
query_port = 9030
edit_log_port = 9010
##修改后端口：
http_port = 18030
rpc_port = 19020
query_port = 19030
edit_log_port = 19010

  • 修改be配置文件

    192.168.226.20:cd doris-2.0.6 | vim conf/be.conf配置priority_networks = 192.168.226.20/24

    192.168.226.21:cd doris-2.0.6 | vim conf/be.conf配置priority_networks = 192.168.226.21/24

    192.168.226.22:cd doris-2.0.6 | vim conf/be.conf配置priority_networks = 192.168.226.22/24

  • 默认fe元数据存储位置（选配）

    meta_dir = ${DORIS_HOME}/doris-meta

  • 修改be默认端口避免冲突

    ##默认端口
be_port = 9060
webserver_port = 8040
heartbeat_service_port = 9050
brpc_port = 8060
##修改后端口
be_port = 19060
webserver_port = 18040
heartbeat_service_port = 19050
brpc_port = 18060

  • 默认数据存储位置（选配）

    storage_root_path = ${DORIS_HOME}/storage

五、FE启动

  • 启动master

    ./bin/start_fe.sh --daemon启动脚本

    curl http://127.0.0.1:18030/api/bootstrap{“msg”:“success”,“code”:0,“data”:{“replayedJournalId”:0,“queryPort”:0,“rpcPort”:0,“version”:“”},“count”:0}则启动成功

  • 增加两个从节点follower

    #一、在主节点或者客户端登陆FE mysql -h192.168.226.20 -P19030
ALTER SYSTEM ADD FOLLOWER "192.168.226.21:19010";
ALTER SYSTEM ADD FOLLOWER "192.168.226.22:19010";

#在从节点启动完成后查看前端状态,显示为如下状态则为启动成功
SHOW FRONTENDS;
--------------------------------
|Role	    |IsMaster |Join |Alive|
|FOLLOWER	|false	  |true |true |
|FOLLOWER	|false	  |true |true |
|FOLLOWER	|true		  |true |true |
---------------------------------

  • 启动从节点

    • 第一次启动从节点为了和主节点保持联系需要增加–helper 192.168.226.20:19010

      192.168.226.21:./bin/start_fe.sh --helper 192.168.226.20:19010 --daemon
      192.168.226.22:./bin/start_fe.sh --helper 192.168.226.20:19010 --daemon

六、BE启动

  • 启动be

    ./bin/start_be.sh --daemon

  • 添加后端到FE中

    mysql -h192.168.226.20 -P19030
alter system add backend "192.168.226.20:19050";
alter system add backend "192.168.226.21:19050";
alter system add backend "192.168.226.22:19050";

##Alive : true表示节点运行正常
SHOW  backends;
--------------------------------------------
｜Host	         ｜HLastHeartbeat	    ｜Alive｜
｜192.168.226.20｜2024-03-26 10:02:45	｜true ｜
｜192.168.226.21｜2024-03-26 10:02:45	｜true ｜
｜192.168.226.22｜2024-03-26 10:02:45	｜true ｜
----------------------------------------------

  • 启动21/22BE

    ./bin/start_be.sh --daemon

七、简单测试

  • 创建数据表

    create database demo;
use demo;


CREATE TABLE IF NOT EXISTS demo.example_tbl
(
    `user_id` LARGEINT NOT NULL COMMENT "用户id",
    `date` DATE NOT NULL COMMENT "数据灌入日期时间",
    `city` VARCHAR(20) COMMENT "用户所在城市",
    `age` SMALLINT COMMENT "用户年龄",
    `sex` TINYINT COMMENT "用户性别",
    `last_visit_date` DATETIME REPLACE DEFAULT "1970-01-01 00:00:00" COMMENT "用户最后一次访问时间",
    `cost` BIGINT SUM DEFAULT "0" COMMENT "用户总消费",
    `max_dwell_time` INT MAX DEFAULT "0" COMMENT "用户最大停留时间",
    `min_dwell_time` INT MIN DEFAULT "99999" COMMENT "用户最小停留时间"
)
AGGREGATE KEY(`user_id`, `date`, `city`, `age`, `sex`)
DISTRIBUTED BY HASH(`user_id`) BUCKETS 1
PROPERTIES (
    "replication_allocation" = "tag.location.default: 1"
);

  • 上传文件

    cd /home/soft/doris-2.0.6
rz
##示例数据test.csv文件
10000,2017-10-01,北京,20,0,2017-10-01 06:00:00,20,10,10
10000,2017-10-01,北京,20,0,2017-10-01 07:00:00,15,2,2
10001,2017-10-01,北京,30,1,2017-10-01 17:05:45,2,22,22
10002,2017-10-02,上海,20,1,2017-10-02 12:59:12,200,5,5
10003,2017-10-02,广州,32,0,2017-10-02 11:20:00,30,11,11
10004,2017-10-01,深圳,35,0,2017-10-01 10:00:15,100,3,3
10004,2017-10-03,深圳,35,0,2017-10-03 10:20:22,11,6,6
##文件所在目录执行：
curl  --location-trusted -u root: -T test.csv -H "column_separator:," http://127.0.0.1:18030/api/demo/example_tbl/_stream_load
#执行成功返回如下信息
{
    "TxnId": 30303,
    "Label": "8690a5c7-a493-48fc-b274-1bb7cd656f25",
    "TwoPhaseCommit": "false",
    "Status": "Success",
    "Message": "OK",
    "NumberTotalRows": 7,
    "NumberLoadedRows": 7,
    "NumberFilteredRows": 0,
    "NumberUnselectedRows": 0,
    "LoadBytes": 399,
    "LoadTimeMs": 381,
    "BeginTxnTimeMs": 3,
    "StreamLoadPutTimeMs": 5,
    "ReadDataTimeMs": 0,
    "WriteDataTimeMs": 191,
    "CommitAndPublishTimeMs": 175
}

  • 我们上面完成了建表，输数据导入，下面我们就可以体验 Doris 的数据快速查询分析能力。

    mysql> select * from example_tbl;
+---------+------------+--------+------+------+---------------------+------+----------------+----------------+
| user_id | date       | city   | age  | sex  | last_visit_date     | cost | max_dwell_time | min_dwell_time |
+---------+------------+--------+------+------+---------------------+------+----------------+----------------+
| 10000   | 2017-10-01 | 北京   |   20 |    0 | 2017-10-01 07:00:00 |   35 |             10 |              2 |
| 10001   | 2017-10-01 | 北京   |   30 |    1 | 2017-10-01 17:05:45 |    2 |             22 |             22 |
| 10002   | 2017-10-02 | 上海   |   20 |    1 | 2017-10-02 12:59:12 |  200 |              5 |              5 |
| 10003   | 2017-10-02 | 广州   |   32 |    0 | 2017-10-02 11:20:00 |   30 |             11 |             11 |
| 10004   | 2017-10-01 | 深圳   |   35 |    0 | 2017-10-01 10:00:15 |  100 |              3 |              3 |
| 10004   | 2017-10-03 | 深圳   |   35 |    0 | 2017-10-03 10:20:22 |   11 |              6 |              6 |
+---------+------------+--------+------+------+---------------------+------+----------------+----------------+
6 rows in set (0.02 sec)

mysql> select * from example_tbl where city='上海';
+---------+------------+--------+------+------+---------------------+------+----------------+----------------+
| user_id | date       | city   | age  | sex  | last_visit_date     | cost | max_dwell_time | min_dwell_time |
+---------+------------+--------+------+------+---------------------+------+----------------+----------------+
| 10002   | 2017-10-02 | 上海   |   20 |    1 | 2017-10-02 12:59:12 |  200 |              5 |              5 |
+---------+------------+--------+------+------+---------------------+------+----------------+----------------+
1 row in set (0.05 sec)

mysql> select city, sum(cost) as total_cost from example_tbl group by city;
+--------+------------+
| city   | total_cost |
+--------+------------+
| 广州   |         30 |
| 上海   |        200 |
| 北京   |         37 |
| 深圳   |        111 |
+--------+------------+
4 rows in set (0.05 sec)
八、运维

  • jps检查各个服务器服务状态

    (base) [root@centos3 doris]# jps

    11819 DorisFE

    19034 DorisBE

  • 服务启动与关闭

    cd /home/soft/doris-2.0.6

    FE:

    ./bin/stop_fe.sh

    ./bin/start_fe.sh

    BE:

    ./bin/stop_be.sh

    ./bin/start_be.sh

muwfm
关注
apache doris 1.0.0安装时报错记录
JustinMars的博客
04-19 518
Apache doris 安装 您可以通过以下链接下载对应版本的 Doris 源码进行编译和部署。 版本 发布日期 从镜像网站下载 二进制下载 1.0.01.0.0 2022-04-182022-04-18 Source(SignatureSHA512) [Binary 362MB](SignatureSHA512) 0.15.00.15.00.14.0 2021-11-292021-11-292021-05-26 Source (Signature SHA512) 0.14.00
Doris集群部署
范一刀的博客
05-06 1596
集群资源 服务器 IP 角色 磁盘 CPU 内存 doris01 192.168.1.11 FE /dev/vda1 99G 32c 128G doris02 192.168.1.12 BE、Broker /dev/{sdb…sdp} 32c 128G doris03 192.168.1.13 BE、Broker /dev/{sdb…sdp} 32c 128G doris04 192.168.1.14 BE、Broker /dev/{sdb…sdp} 32c 128G dor
Doris初识
xiuxiuhh的博客
04-24 2699
1、Doris由百度大数据部研发，之前叫百度Palo，于2017年开源，2018年贡献到 Apache 社区后，更名为Doris2、是一个现代化的基于MPP（Massively Parallel Processing 大规模并行处理）技术的分析型数据库产品。简单来说，MPP是将任务并行的分散到多个服务器和节点上，在每个节点上计算完成后，将各自部分的结果汇总在一起得到最终的结果(与Hadoop相似)。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。
将DataEase的doris端口映射到宿主机
范一刀的博客
01-03 1859
修改DataEase中doris的yaml文件
Apache Doris 快速入门
weixin_37536020的博客
09-20 857
Doris建表默认是有顺序的，这个顺序就是字段的顺序，可以认为这就是它默认的聚合索引。分区可以省略，如果省略的话，默认Doris系统会创建一个分区，这个分区成为单分区，它的分区名字和表名一样。-h:这是我们连接的FE的IP地址，如果你的客户端和FE安装在同一个节点上，可以使用127.0.0.1。FE，Frontend，前端节点，接收用户查询请求，SQL解析，执行计划生成，元数据管理，节点管理等。BE，Backend，后端节点，数据存储，执行查询计划。建表时，可以省略，默认是冗余模型。
【Doris的安装与部署】
weixin_45363959的博客
05-15 3691
Doris作为一款MPP架构的OLAP数据库，可以在绝大多数主流的商用服务器上运行。
搭建环境06：部署Doris
m0_37559973的博客
10-04 4880
Doris 集群部署
安装部署doris集群与基础使用
最新发布
weixin_56770318的博客
10-18 848
前期准备安装解压Doris安装包启动fe查看启动日志确保服务启动成功修改be配置启动be在192.168.218.221和192.168.218.227上都操作只需开启be在fe上添加be一键启停集群脚本。
Doris浅略介绍 +部署+使用
热门推荐
weixin_43159653的博客
01-04 1万+
DORIS 部署 +使用 +扩容 BE节点，学习记录doris 遇到的坑以及学习过程；
Doris介绍、原理、安装、集成hive
02-27
2. **部署Frontend和Backend**：根据系统需求部署FE和BE实例。 3. **配置环境**：包括网络配置、系统参数调整等。 4. **启动服务**：启动FE和BE服务，确保正常运行。 #### 五、集成Hive 为了更好地利用现有Hive生态...
Doris SQL日志审计部署，以及sql收集输出kafka，后续血缘分析
qq_31866793的博客
10-09 2109
1，介绍 Doris 的审计日志插件是一个可选插件。用户可以在运行时安装或卸载这个插件，该插件可以将 FE 的审计日志定期的导入到指定 Doris 集群中，以方便用户通过 SQL 对审计日志进行查看和分析，这里的数据其实是Doris FE log目录下的fe.audit.log文件中的数据。 我们要做的是安装这个插件，然后我们可以通过dorissql去对应的表查询sql语句，也可以通过doris目录下的fe.audit.log文件将日志接出之后写入外部操作。 通过filebeat...
doris原生安装
select_where的博客
11-09 1562
doris原生安装
[Doris] Doris的安装和部署 (二)
959
02-13 2135
Doris的安装与部署
(一)、Doris安装使用（基于Doris 2.0.6）
qq_22494169的博客
03-22 4378
​ Apache Doris由百度大数据部研发（之前叫百度 Palo，2018年贡献到 Apache 社区后，更名为 Doris），在百度内部，有超过200个产品线在使用，部署机器超过1000台，单一业务最大可达到上百 TB。​ Apache Doris是一个现代化的MPP （Massively Parallel Processing，即大规模并行处理）分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析
doris（一）单节点部署
Interest1_wyt的博客
10-16 4190
doris单节点FE BE快速部署
Doris 1.2.1问题总结
hubowei7
05-30 1485
doris
【Doris】Apache Doris在网易互娱的应用实践
m0_54252387的博客
07-12 188
FE 的主要作用将 SQL 语句转换成 BE 能够认识的 Fragment，如果把 BE 集群当成一个分布式的线程池的话，那么 Fragment 就是线程池中的 Task。从 SQL 文本到分布式物理执行计划，FE 的主要工作需要经过以下几个步骤:tablet 数：2000w -> 100wtablet 增长量：15000/TB（1）对于现存的表扫描集群内所有的表，以分区粒度输出一份完整的数据统计给业务方，并根据每张表的实际情况附上修改建议；制定治理计划按照由高收益到低收益，优先处理最不合理的库，将元数据管
Apache Doris 系列： 入门篇-安装部署
锋哥聊DORIS数仓
08-31 2825
这里我们介绍如何通过二进制安装包方式，手动的一步步安装Apache Doris。如果你需要从编译安装部署，参考。下面我们以部署一台 FE 节点和一台 BE节点为例来演示部署，正常情况 Doris 集群下我们建议至少要部署一个 FE 节点及三个 BE 节点。...
大数据 - Doris系列《一》- Doris简介
weixin_40968325的博客
01-04 2459
Doris是一款开源的分布式OLAP（联机分析处理）数据库引擎，旨在支持高并发、大规模的数据查询和分析需求。本篇文章将深入介绍OLAP和OLTP的区别，明确它们在用户行为日志数据场景中的应用。我们将比较OLAP和OLTP在处理大规模数据时的性能和优势，并探讨开源OLAP引擎的选择。
docker部署doris
09-20
Doris是一款开源的分布式列式数据库系统，常用于大数据分析场景。要在Docker中部署Doris，你需要按照以下步骤操作： 1. **安装Docker**: 首先确保你的机器上已经安装了Docker。你可以从官网下载适用于你的系统的Docker Desktop。 2. **获取Doris镜像**: 使用Docker命令拉取Doris的官方镜像： ``` docker pull dorisplus/doris:latest ``` 或者指定特定版本的镜像，如`dorisplus/doris:v5.0`。 3. **运行Doris服务**: 创建并运行一个容器来启动Doris服务。例如，创建一个名为'doris_container'的容器，并设置所需的端口映射（这里假设Doris监听9042端口）： ``` docker run -p 9042:9042 -v /path/to/data:/var/lib/doris dorisplus/doris:latest ``` 4. **配置环境变量**: 如果有需要，可以将环境变量（如ZK地址、集群名称等）通过 `-e` 参数传递给容器。 5. **监控与管理**: 可以使用Docker CLI的`docker ps`命令查看容器状态，如果需要持久化数据，可以使用`docker volume create`创建数据卷。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值