Doris基本特性

Doris是一个开源的分布式计算框架,专注于大规模数据处理和分析,提供类SQL语言PaloSQL进行查询,采用列式存储引擎提高效率,并支持实时和离线处理。其特性包括分布式计算、实时处理、标准SQL支持和数据压缩。适用于数据仓库、数据分析、实时计算及日志分析场景。
摘要由CSDN通过智能技术生成

Doris是一种用于大规模数据处理的分布式计算框架。它采用类SQL的语言进行数据处理,使得数据处理变得更加高效、易于管理和可扩展。以下是关于Doris的学习笔记。

Doris概述
Doris是一个开源的分布式计算框架,旨在解决大规模数据处理和分析的问题。它可以处理海量数据,支持实时和离线处理,提供可扩展性和高可用性。

Doris提供了一种类SQL的语言,称为Palo SQL,它允许用户使用标准SQL查询语言来查询和处理数据。Palo SQL是Doris的核心组件之一,它支持常见的SQL语法,包括聚合、分组、连接和子查询等操作。

Doris还提供了一个灵活的数据模型,允许用户将数据存储在列式存储引擎中。这种存储方式可以提高数据访问的效率,同时减少存储空间的占用。Doris还提供了多种数据压缩算法,可以进一步减少数据的存储空间。

Doris的特性
Doris具有以下特性:

分布式计算:Doris可以在多台服务器上进行分布式计算,实现高性能和高可用性。

实时处理:Doris支持实时处理,可以在数据写入时进行计算和分析。

离线处理:Doris也支持离线处理,可以处理大量历史数据。

标准SQL:Doris的Palo SQL支持标准SQL查询语言,使得数据处理变得更加简单。

列式存储引擎:Doris使用列式存储引擎,提高了数据访问效率。

数据压缩:Doris提供多种数据压缩算法,可以减少数据的存储空间。

分布式事务:Doris支持分布式事务,可以保证数据的一致性和可靠性。

Doris的应用场景
Doris适用于以下场景:

数据仓库:Doris可以用于构建数据仓库,实现海量数据的存储和分析。

数据分析:Doris可以用于数据分析,支持复杂的数据查询和统计操作。

实时计算:Doris可以用于实时计算,支持实时数据流处理和实时报表生成。

日志分析:Doris可以用于日志分析,支持大规模日志的存储和分析。

总结
Doris是一种高效、灵活和可扩展的分布式计算框架,可以用于大规模数据处理和分析。它提供了标准SQL查询语言和列式存储引擎,支持多种数据压缩算法,并且具有高可用性和分布式事务的特性。Doris适用于数据仓库、数据分析、实时计算和日志分析等场景。如果您需要进行大规模数据处理和分析,Doris是一个值得考虑的分布式计算框架。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
上层应用业务对实时数据的需求,主要包含两部分内容:1、 整体数据的实时分析。2、 AB实验效果的实时监控。这几部分数据需求,都需要进行的下钻分析支持,我们希望能够建立统一的实时OLAP数据仓库,并提供一套安全、可靠的、灵活的实时数据服务。目前每日新增的曝光日志达到几亿条记录,再细拆到AB实验更细维度时,数据量则多达上百亿记录,多维数据组合下的聚合查询要求秒级响应时间,这样的数据量也给团队带来了不小的挑战。OLAP层的技术选型,需要满足以下几点:1:数据延迟在分钟级,查询响应时间在秒级2:标准SQL交互引擎,降低使用成本3:支持join操作,方便维度增加属性信息4:流量数据可以近似去重,但订单行要精准去重5:高吞吐,每分钟数据量在千W级记录,每天数百亿条新增记录6:前端业务较多,查询并发度不能太低通过对比开源的几款实时OLAP引擎,可以发现Doris和ClickHouse能够满足上面的需求,但是ClickHouse的并发度太低是个潜在的风险,而且ClickHouse的数据导入没有事务支持,无法实现exactly once语义,对标准SQL的支持也是有限的。所以针对以上需求Doris完全能解决我们的问题,DorisDB是一个性能非常高的分布式、面向交互式查询的分布式数据库,非常的强大,随着互联网发展,数据量会越来越大,实时查询需求也会要求越来越高,DorisDB人才需求也会越来越大,越早掌握DorisDB,以后就会有更大的机遇。本课程基于真实热门的互联网电商业务场景为案例讲解,具体分析指标包含:AB版本分析,下砖分析,营销分析,订单分析,终端分析等,能承载海量数据的实时分析,数据分析涵盖全端(PC、移动、小程序)应用。整个课程,会带大家实践一个完整系统,大家可以根据自己的公司业务修改,既可以用到项目中去,价值是非常高的。本课程包含的技术:开发工具为:IDEA、WebStormFlink1.9.0DorisDBHadoop2.7.5Hbase2.2.6Kafka2.1.0Hive2.2.0HDFS、MapReduceFlume、ZookeeperBinlog、Canal、MySQLSpringBoot2.0.8.RELEASESpringCloud Finchley.SR2Vue.js、Nodejs、Highcharts、ElementUILinux Shell编程等课程亮点:1.与企业接轨、真实工业界产品2.DorisDB高性能分布式数据库3.大数据热门技术Flink4.支持ABtest版本实时监控分析5.支持下砖分析6.数据分析涵盖全端(PC、移动、小程序)应用7.主流微服务后端系统8.天级别与小时级别多时间方位分析9.数据库实时同步解决方案10.涵盖主流前端技术VUE+jQuery+Ajax+NodeJS+ElementUI11.集成SpringCloud实现统一整合方案12.互联网大数据企业热门技术栈13.支持海量数据的实时分析14.支持全端实时数据分析15.全程代码实操,提供全部代码和资料16.提供答疑和提供企业技术方案咨询企业一线架构师讲授,代码在老师的指导下企业可以复用,提供企业解决方案。  版权归作者所有,盗版将进行法律维权。 
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值