实时数仓-Doris简介及安装

Doris简介

    Doris由百度大数据部研发 ,之前叫百度 Palo,2018年贡献到 Apache 社区后,更名为 doris 。本博客主要从业务角度(我们为什么会选择使用它,如何用)来对doris 进行简要介绍。

   Doris是一个MPP的OLAP系统,以较低的成本提供在大数据集上的高性能分析和报表查询功能。

MPP (Massively Parallel Processing),即大规模并行处理。简单来说,MPP是将任务并行的分散到多个服务器和节点上,在每个节点上计算完成后,将各自部分的结果汇总在一起得到最终的结果(与Hadoop相似)。

MPPDB是将运算分布到节点中独立运算后进行结果合并(分布式计算),但由于依据的理论和采用的技术路线不同而有各自的优缺点和适用范围。我们现在大数据存储与处理趋势:用MPP处理PB级别的、高质量的结构化数据,同时为应用提供丰富的SQL和事物支持能力;

Doris架构

图片

Doris和Kylin

首先我们将Doris和Kylin进行对比,来探讨我们在什么情况下会选择使用Doris。当然此处对比,仅仅是方便我们知道在什么场景下该如何选择,技术本身是没有好坏之分的。

图片

图片

Doris安装

1.1. 查看版本

http://doris.apache.org/master/zh-CN/downloads/downloads.html

https://github.com/apache/incubator-doris/releases

图片

目前0.14.0是最新的release版本

1.2.编译doris

可实体机编译也可容器编译。

1.3配置修改

fe.conf在fe/conf目录下修改fe.conf 配置:修改fe内存及创建目录1、网络修改:priority_networks = 192.168.244.129/242、注意默认的原数据目录为:Default value is ${DORIS_HOME}/doris-meta3、内存修改:JAVA_OPTS 及 JAVA_OPTS_FOR_JDK_9 be.conf1、在fe/conf目录下修改fe.conf 配置,创建be目录及修改系统文件打开数2、修改linux系统文件打开数1)/etc/security/limits.conf 加入*        hard    nofile           65536*        soft    nofile           65536*        soft    nproc           4096*        hard    nproc           4096

1.4服务起停

1、启动FE:在fe的bin目录下执行./start_fe.sh --daemon2、启动BE:在be的bin目录下执行./start_be.sh --daemon3、增加 FE 节点:ALTER SYSTEM ADD FOLLOWER "host:port";ALTER SYSTEM ADD OBSERVER "host:port";4、增加 BE 节点:ALTER SYSTEM ADD BACKEND "192.168.244.130:9500";

当测试出现如下图代表搭建成功

图片

详细可参考官网地址:http://doris.apache.org/

  • 0
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
doris实时数仓实战》是一本介绍"实时数仓"的实战技术书籍。实时数仓是指将数据仓库(Data Warehouse)与实时流计算技术相结合,实现数据的快速处理和实时分析的系统。 这本书主要从实战的角度,以Doris(原名Palo)作为实时数仓的核心技术,介绍了实时数仓的建设与应用。Doris是一种分布式、高性能、高可用的列式存储分析系统,适用于大规模数据分析和实时查询。 书中首先介绍了实时数仓的背景和概念,以及Doris的基本原理和架构。接着对Doris安装和配置进行了详细的讲解,包括数据模型设计、表定义和索引创建等。 然后,书中详细介绍了如何通过Doris进行数据的导入和处理。包括了数据导入的几种方式,如使用Doris自带的ETL工具和使用第三方工具,以及如何进行实时数据的计算和分析。 书中还介绍了Doris的高级功能和应用,例如多集群部署、数据备份和恢复、高可用性配置等。同时也提到了一些在实际应用中的常见问题和解决方案。 通过这本书,读者可以了解到实时数仓的基本概念和原理,学习到如何使用Doris构建实时数仓,并能够应用到实际的数据分析和查询中。 总的来说,《doris实时数仓实战》是一本实用性很强的技术书籍,适合对实时数仓感兴趣的技术人员阅读,对于提高数据分析和查询的效率和准确性有很大的帮助。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值