实时数仓Doris

已于 2024-07-26 10:24:29 修改
阅读量242 收藏
点赞数 6
文章标签： 大数据 Doris
于 2024-07-26 10:23:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/airyearth/article/details/140708629
版权

Apache Doris官网：

Apache Doris: Open source data warehouse for real time data analytics - Apache Doris

查看系统是否支持avx2的指令后再下载相对应的包

cat /proc/cpuinfo|grep avx2

如果没有任何输出，则表示系统不支持avx2，下载noavx2的tar包

https://apache-doris-releases.oss-accelerate.aliyuncs.com/apache-doris-2.0.13-bin-x64-noavx2.tar.gz

如果有信息输出则下载：

https://apache-doris-releases.oss-accelerate.aliyuncs.com/apache-doris-2.0.13-bin-x64.tar.gz

下载页面：

Apache Doris - Download | Easily deploy Doris anywhere - Apache Doris

按照文档一步步就可以了！

山塘小鱼儿
关注
  • 6
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Doris进阶篇—Flink+Doris 实时数仓
10-07 3万+
简单来说，Aggregate模型就是预聚合模型，类似于Molap，通过提前定义key列及value列的聚合方式，在数据导入的时候已经将key列相同的数据按照value列的聚合方式聚合在一起，即最终表里key相同的数据只保留一条，value按照相应的规则计算。线上配置的监控1分钟执行一次，如果遇到任务暂停，会自动恢复导入任务，但是导致任务失败的脏数据会跳过，此时需要人工排查失败原因，修复后重新触发该条数据的导入。虽然同样无法利用预聚合的特性，但是不受聚合模型的约束，可以发挥列存模型的优势。
Flink+Doris 实时数仓
2401_84052244的博客
04-26 120
简单来说，Aggregate模型就是预聚合模型，类似于Molap，通过提前定义key列及value列的聚合方式，在数据导入的时候已经将key列相同的数据按照value列的聚合方式聚合在一起，即最终表里key相同的数据只保留一条，value按照相应的规则计算。线上配置的监控1分钟执行一次，如果遇到任务暂停，会自动恢复导入任务，但是导致任务失败的脏数据会跳过，此时需要人工排查失败原因，修复后重新触发该条数据的导入。虽然同样无法利用预聚合的特性，但是不受聚合模型的约束，可以发挥列存模型的优势。
深入解析实时数仓Doris：介绍、架构剖析、应用场景与数据划分细节
热门推荐
码到三十五
03-24 1万+
Doris是一款高性能、开源的实时分析数据仓库，旨在为用户提供毫秒级查询响应、高并发、高可用以及易于扩展的OLAP解决方案。它融合了MPP（大规模并行处理）架构与分布式存储，支持PB级别的数据存储和分析，是大数据场景下理想的实时数仓选择。
实时数仓之实时数仓架构(Doris)
道可道非常道
03-21 1669
数据装载由Flink驱动，通过对ODS流进行Join、聚合和转行操作、以及对外部表以Lookup Join方式清洗数据(切记不能过分冗余维度数据，底层对数据做分离是核心设计思想，冗余越是过分、维护成本越高)，明细结果kafka保留一份，并将结果模型数据同步Doris持久保存，以便数据应用引用，Doris数据根据业务情况可以选择基于离线数据回刷昨日数据方案修复数据。从离线数仓同步维表，这类维表实时加工成本太高，且变化不大，可以承担部分不一致性，那么可以采用昨日离线数据同步到redis供etl使用；
作业帮实时数仓架构中的Doris是如何发挥神威的，一文玩儿透（建议收藏）
学而知之@的博客
06-07 932
关 注 公 众 号，获 取 更 多 技 术 好 文~摘要：今天分享的内容是Doris在作业帮实时数仓架构中的应用及实践分享时间：2021年6月05日内容分享：利敏摘要整理：皮卡丘主要内容...
实战Flink+Doris实时数仓
06-21
给大家分享一套课程——实战Flink+Doris实时数仓课程，附源码+文档+虚拟机。
Doris在数仓中的实践.pdf
09-19
本文将详细介绍 Doris 在数仓中的应用和实践，包括业务背景、技术选型、系统架构、实时查询系统、数据模型等方面的内容。 业务背景 在数仓中，数据查询是非常重要的一步，需要能够快速、实时地返回结果。但是，...
大数据技术概述
weixin_51591328的博客
08-28 301
知识点 其他
窥一斑而知全豹
最新发布
xuexiaogang的专栏
08-29 472
由于经济形势的不好，我看参展商少了一点。可能不少都是为了生计而挣扎。2023年1月明叔主持的栏目有一期特别节目《数据库诸神之战》，请来了OB、TiDB、TDSQL和TDEngine的掌门人来讨论数据库的未来，那时候结论是3年后国内健康运营的数据库公司不超过30家。目前已经快过去2年了。现在日子的确越来越难过了。现实可能和预测差不多。
clickhouse 原理详解
chuige2013的博客
08-25 804
中国已有：中信实业银行，东方航空公司，阿里巴巴，华泰保险，中国远洋，李宁公司等大型企业用户选择Greenplum的产品。Doris由百度大数据部研发 ，之前叫百度 Palo，2018年贡献到 Apache 社区后，更名为 doris，Doris是一个MPP的OLAP系统，以较低的成本提供在大数据集上的高性能分析和报表查询功能。擅长事务处理，在数据操作中保持着很强的一致性和原子性 ，能够很好的支持频繁的数据插入和修改 ，但是，一旦数据量过大，OLTP便力不从心了。1、MPP数据库简介。1、MPP数据库简介。
Hive SQL
08-26 1129
tinyint 1byte 有符号整数smallint 2byte 有符号整数int 4byte 有符号整数bigint 8byte 有符号整数boolean 布尔类型，true或者falsefloat 单精度浮点数double 双精度浮点数decimal 十进制精准数字类型 decimal(16,2)
SpringBoot整合MQ
weixin_55772633的博客
08-24 1211
springboot整合ActiveMQ提供了JmsMessagingTemplate对象作为客户端操作消息队列操作ActiveMQ需要配置ActiveMQ服务器地址，默认端口61616企业开发时通常使用监听器来处理消息队列中的消息，设置监听器使用注解@JmsListener配置jms的pub-sub-domain属性可以在点对点模型和发布订阅模型间切换消息模型。
flink 核心概念（个人总结）
weixin_44702289的博客
08-26 445
状态：在处理数据时，flink可以维护状态，这对于实现复杂逻辑如窗口操作和聚合是有必要的。flink支持有状态的流处理，它可以存储和访问数据流处理过程中的状态信息。窗口是处理无界数据流的一种方法，它将数据流切分成有限大小的块进行处理。b.有界数据流：有明确开始和结束点的数据流，例如批量处理的历史数据。flink将数据视为流，无论是实时的无界数据流还是有界的数据流。1.滚动窗口：固定大小的窗口，当新的事件到达时，窗口会向前滚动。a.无界数据流：实时生成的数据流，没有结束点，例如实时交易数据。
SparkSQL DML语句详解
SunnyRivers
08-27 540
数据操作语句用于添加、更改或删除数据。LOAD。
（十七）Flink 容错机制
springk的专栏
08-25 403
对于不间断 24 小时运行的程序来说，容错至关重要。Flink 定期对每个算子的所有状态进行持久化快照，并将这些快照复制到更持久的地方，例如分布式文件系统。如果发生故障，Flink 可以恢复应用程序的完整状态并恢复处理，就好像没有出现任何问题一样。 本章我们针对 Checkpoint、Savepoint、作业重启调度策略做详细介绍
基于Spark的云南旅游大数据分析平台
qq_40309403的博客
08-28 464
Hi，大家好，今天分享的项目是《基于Spark的云南旅游大数据分析平台》
Kafka线上问题优化
weixin_43451620的博客
08-24 538
如果为了消息的不重复消费，而把生产端的重试机制关闭，消费端的手动提交改为自动提交，这样反而会出现消息丢失。那么可以直接在防止消息丢失的手段上加上消费消息时的幂等性特保证，便能解决重复消费的问题。消息积压会导致很多问题，比如：磁盘被打满、生产端发消息导致kafka性能过慢，就容易出现服务雪崩，就需要相应的处理手段。消费者订阅相应的topic，消费时轮询消费整个topic中的消息。消息发送者发送消息到相应的topic，并带上消息的发送时间。创建多个topic，每个topic表示延时的间隔。
doris实时数仓实战 pdf
08-17
《doris实时数仓实战》是一本介绍"实时数仓"的实战技术书籍。实时数仓是指将数据仓库（Data Warehouse）与实时流计算技术相结合，实现数据的快速处理和实时分析的系统。 这本书主要从实战的角度，以Doris（原名Palo）作为实时数仓的核心技术，介绍了实时数仓的建设与应用。Doris是一种分布式、高性能、高可用的列式存储分析系统，适用于大规模数据分析和实时查询。 书中首先介绍了实时数仓的背景和概念，以及Doris的基本原理和架构。接着对Doris的安装和配置进行了详细的讲解，包括数据模型设计、表定义和索引创建等。 然后，书中详细介绍了如何通过Doris进行数据的导入和处理。包括了数据导入的几种方式，如使用Doris自带的ETL工具和使用第三方工具，以及如何进行实时数据的计算和分析。 书中还介绍了Doris的高级功能和应用，例如多集群部署、数据备份和恢复、高可用性配置等。同时也提到了一些在实际应用中的常见问题和解决方案。 通过这本书，读者可以了解到实时数仓的基本概念和原理，学习到如何使用Doris构建实时数仓，并能够应用到实际的数据分析和查询中。 总的来说，《doris实时数仓实战》是一本实用性很强的技术书籍，适合对实时数仓感兴趣的技术人员阅读，对于提高数据分析和查询的效率和准确性有很大的帮助。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值