自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(132)
  • 资源 (1)
  • 收藏
  • 关注

原创 实时智能全托管-云器Lakehouse重新定义多维数据分析

在电商领域,具体的包括推荐系统的实时化应用场景:进行实时用户行为分析、内容特征分析以及 A/B 测试等,会涉及不同类型的组件,包括 Spark 、 Hive 、 ClickHouse 、 Druid 等,以及一些基础服务。云器Lakehouse提供了一体化的数据架构解决方案,其底层是湖仓一体的架构,以统一的元数据和统一的数据管理作为基础,在此之上,采用单一引擎(single engine)的方式来支持不同场景下的数据变化和数据处理需求,包括批处理计算、流处理计算、交互式检索以及点查询等场景。

2024-06-28 17:21:32 1335

原创 Atlas基于云器Lakehouse升级数据平台,实现业务效率与平台稳定性的双重提升

在使用云器Lakehouse之后,优化了原来采购了固定资源规格的存储服务的限制,从存放7天的数据优化成无限扩展可以低成本存放 365 天的数据,能支撑业务方的历史数据的查询需求的范围也变得更加宽泛,极大扩展数据价值挖掘的范围,支撑起更长客户的生命周期管理。对此,平台组进行了多种类型的多轮查询验证,在未进行过性能调优的基础上,基本上能按照线性的扩展要求,通过扩大计算资源规格,能够相应地按比例减少计算消耗的时间,因此获得了令技术团队和业务团队都十分满意的性能指标。这一条是最严重的一条,需要最优先被解决。

2024-06-12 16:43:45 589

原创 智简云携手云器Lakehouse打造一体化大数据平台,释放数据价值

一体化架构:告别繁琐的Lambda架构,寻求一个一体化的大数据平台,简化数据处理流程,降低系统复杂性和技术多样性。性能达标:平台必须具备强大的数据处理能力,能够高效地进行查询分析和跑批任务,满足海量数据的处理需求。弹性伸缩:平台需要具备弹性伸缩能力,能够根据数据量和计算需求动态调整资源,应对业务高峰期和大促活动。云原生服务:优先选择云原生服务,避免私有部署带来的运维难题,降低运维成本,提高资源利用率。数据安全: 平台必须具备完善的数据安全保障机制,确保会员数据的安全性和隐私性,满足合规要求

2024-05-21 18:07:16 983

原创 重塑数据架构:云器Lakehouse如何简化组装式架构实现性能与成本的精益平衡

增量计算实质上就是把原本的全量计算拆分为存量数据的计算结果和增量数据的计算结果,复用已有的存量数据计算结果,并对增量数据进行计算和结果合并,来达到节省计算量,提高 query 性能的目的。因此,autoMV 会放弃不划算的 MV,只选择那些能够带来显著收益的 MV,并自动创建在我们的数据仓库中。数据加工:使用物化视图替代传统的 table 数据表,即可自动进行增量计算,使这套代码不仅可以处理离线任务,当需要变成实时任务的时候,只需要调整该物化视图的刷新时间,便可自动对距上一次刷新产生的增量数据进行处理。

2024-05-12 23:17:42 640

原创 性能提升 300%|分秒帧基于云器 Lakehouse 升级一体化数据平台

基于云器 Lakehouse 一体化数据平台,将不同源、不同类型的数据统一到一个集中存储库中,以实现统一用户画像,完成了自动化线索管理闭环,从市场、到产品、再到客户成功整个链路形成完整闭环,数据洞察更精准,挖掘潜在用户与机会,提供不同人群运营策略,为客户提供更好的数据服务,更方便、理解自己的数据资产。,我们重新梳理了整个数据链路,从采集到最后运维的整条链路,总结了原架构造成高成本的原因(见下表),可见企业的数据链路成本问题不仅仅是计算成本,运维成本,架构和数据各个链条上,都有成本问题需要考虑。

2024-05-12 22:56:22 828

原创 长安汽车:基于云器 Lakehouse 的车联网大数据平台建设

这带来的问题是,当业务新增需求时,或者做一个新的数据产品、处理一些新的信号时,需要从头开发整个链路,在实时链路上重新加入这些数据,开发链路会非常复杂,要跨多个组件、多个平台,除了Java,还需要 SQL 等等,开发门槛高,效率低。计算成本方面,在同样的数据量、同样的加工逻辑、得到同样的结果,并保证结果正确的前提下,从T+1集中时间计算,分摊成近实时增量计算,比如5分钟加工一次,一天共 288 次,将全天的资源累加起来,与之前天级的计算资源相比较,计算口径为CU时=8core*1hr。规模越大,表现越好。

2024-05-12 22:47:59 911 1

原创 AI风暴来袭:2024年数据平台的演进、挑战与机遇

上图同时对比了数据库领域的领军企业Oracle和大数据领军企业Snowflake,成立46年的Oracle在2023年有48B$的营收规模,是成立12年的Snowflake 2B$营收的20x,但Snowflake有50%的同比增长率,是Oracle 5%增长率的10x。回顾历史,是搜索需求驱动了大数据平台的诞生和发展(数据平台的第二次革命),但搜索平台与数据平台从来都是一体的,就用阿里巴巴为例,阿里所有的数据(包括搜索/推荐日志)都汇总进数据中台,统一处理。数据相关领域也有智能化的巨大潜力。

2024-05-12 22:46:30 788

原创 云器Lakehouse:Multi-Cluster弹性架构如何实现湖上高并发低延迟分析

在设计资源的时候,我们创建了1~10 的资源实例,每个资源实例支撑 8 个并发,当有 80 个并发同时来的时候,通过横向的动态扩容,可以毫秒级地将资源实例弹出来,把新增加的并发请求接住。Spark 访问云器Lakehouse的时候,更多的是希望直读存储以提高吞吐,所以我们在整个的元数据系统设计之初就考虑了开放性,提供云器Catalog 的SDK, Spark 可以直接使用我们的 Catalog 的 SDK 包,通过云器产品的用户名和密码授权地对接到云器的数据,访问底层的存储群。这就是客户端查询的情况。

2024-05-12 22:45:27 1036 1

原创 什么是数据平台——企业构建Data+AI的基础数据底座需要的决策参考

什么是数据平台标准的解释是这样的WikipediaA data platform usually refers to a software platform used for collecting and managing data, and acting as a data delivery point for application and reporting software.数据平台是指将各类数据进行整合、存储、处理和分析的技术平台,旨在基于数据为业务提供各类服务、产生业务价值。数据

2024-05-12 22:44:35 855

原创 爱分析基于杭州云器Lakehouse实现成本最优的一体化管理,新一代数据平台的建设方式

2013-2017年大数据平台建设,2018-2022年数据中台建设,两轮大规模数据平台建设后,企业用户取得一定成果,“数据驱动业务”理念深入人心,但在实际落地时,数据开发管理难度依然很大,数据需求响应速度依然不足。AI技术一般是上接业务系统,下接数据平台,只有业务系统和数据平台都相对成熟,才能真正发挥AI价值,这意味着,全公司级统一的知识库、数据资产目录、数据模型、数据字典成为必备条件,这些对数据架构提出更高要求。过往企业用户习惯于面向单个数据应用构建一套数据平台,无形之中形成了新的“数据烟囱”现象。

2024-05-12 22:43:34 346

原创 Doris 数仓使用规范(经验版)

【建议】一次insert into select 数据超过1亿条后,建议拆分为多个insert into select语句执行,分成多个批次来执行。【建议】前缀索引的第一个字段一定是最长查询的字段,并且需要是高基字段。【建议】大量数据排序(5亿以上)后返回部分数据,建议先减少数据范围在执行排序,否则大量排序会影响性能。【强制】如果分桶字段存在30%以上的数据倾斜,则禁止使用Hash分桶策略,改使用random分桶策略。【强制】亿级别大表禁止使用select * 查询,查询时需要明确要查询的字段。

2024-01-02 23:03:37 2434 3

原创 Apache Doris 整合 FLINK CDC 、Paimon 构建实时湖仓一体的联邦查询入门

多源数据目录(Multi-Catalog)功能,旨在能够更方便对接外部数据目录,以增强Doris的数据湖分析和联邦数据查询能力。在之前的 Doris 版本中,用户数据只有两个层级:Database 和 Table。当我们需要连接一个外部数据目录时,我们只能在Database 或 Table 层级进行对接。比如通过create external table的方式创建一个外部数据目录中的表的映射,或通过create external database的方式映射一个外部数据目录中的 Database。

2023-11-30 11:01:08 1001

原创 Apache Doris 整合 FLINK 、 Hudi 构建湖仓一体的联邦查询入门

是不是使用非常简单,快快体验Doris 湖仓一体,联邦查询的能力,来加速你的数据分析性能。

2023-11-27 15:49:15 911

原创 Apache Doris 数据建模之 Aggregate Key 模型

但是因为 Doris 它最早是给凤巢的一个广告报表做的,广告报表有一个很大的特点,就是它只关心统计分析的结果,而不太关心明细的数据,所以 Doris 最早一代的数据模型,是一个聚合的模型。通过上面的图我们可以看到,这是一个典型的用户信息和访问行为的事实表。也就是说,任何还未聚合的数据(比如说两个不同导入批次的数据),必须通过某种方式,以保证对外展示的一致性,特别是在聚合模型上做count计算,可能会导致结果不准确,针对这种情况我们怎么去解决。还有在这个三种数据模型之上的数据分区分桶的策略。

2023-10-10 15:28:54 563

原创 怎么使用 Go 语言操作 Apache Doris

Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。使用 Doris 的用户都知道 Doris 是完全兼容 MySQL 协议的,我们可以使用任意 MySQL 客户端或者 Connector 去连接 Doris,用 SQL 操作 Doris,这样你可以使用任意语言来操作 Doris。这里我们简单做一个查询表里的所有数据。

2023-09-28 17:24:12 2456

原创 怎么使用 Flink 向 Apache Doris 表中写 Bitmap 类型的数据

Bitmap是一种经典的数据结构,用于高效地对大量的二进制数据进行压缩存储和快速查询。Doris支持bitmap数据类型,在Flink计算场景中,可以结合Flink doris Connector对bitmap数据做计算。社区里很多小伙伴在是Doris Flink Connector的时候,不知道怎么写Bitmap类型的数据,本文将介绍如何使用 Flink Doris Connector 如何将 bitmap 数据写入 Doris 中。前置准备Doris2.0.1的环境。

2023-09-27 12:42:35 1312

原创 Apache Doris 行列转换可以这样玩

行列转换在做报表分析时还是经常会遇到的,今天就说一下如何实现行列转换吧。行列转换就是如下图所示两种展示形式的互相转换。

2023-09-26 13:14:01 1490 1

原创 Apache Doris 2.0 版本 FQDN 使用介绍

在介绍这个之前,我们知道Doris 之前是不支持主机名称方式,只能使用 IP 地址,在实际使用中,有的用户因为网络重构或者设备迁移产生了IP地址变更,这个就会引发Doris集群数据不可用。如果我们能通过主机名称,那么就可以避免因为IP地址变更引发的集群不可用数据丢失的问题。Doris 从 2.0 版本引入的 FQDN的能力,来解决之前的 IP地址不能变更的问题。本文介绍如何启用基于 FQDN(Fully Qualified Domain Name,完全限定域名 )使用 Apache Doris。

2023-09-13 08:59:48 295

原创 [2.0快速体验]Apache Doris 2.0 弹性计算节点快速体验

这样这种节点其实就变成了一个无状态的 BE 节点,我们可以非常容易的进行弹性伸缩,不需要想之前混合节点那样,在扩展集群的时候,需要等待 tablet 副本均衡完成,这个节点才能进行有效的负载。然后我们将节点加入到集群之后,并启动节点,查看 BE 的信息,可以看到,NodeRole 这个字段,如果是 mix 表示为混合节点,如果是computation表示为计算节点。查看我们刚才执行的 SQL Profile 可以看到,这个Catalog外表的计算是在计算节点上进行的,并不是在混合节点上。

2023-06-05 09:35:13 972

原创 [2.0快速体验]Apache Doris 2.0 日志分析快速体验

我们知道 Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。在Apache Doris 2.0 给大家带来了全新的倒排索引,利用Doris的MPP执行框架、向量化计算引擎、列式存储、标准SQL、CBO的查询优化器等特性为用户提供高性能,低成本的日志分析服务。解决上面的问题,需要集中化的日志管理,所有服务器上的日志收集汇总。

2023-06-04 14:51:09 1508

原创 Apache Doris 2.0 冷热分离快速体验

用户在满足了自身对于数据使用要求的情况下,自然会开始考虑数据存储成本等方面的问题,对于那些很少访问甚至基本不访问的数据,使用成本更低的存储方式将是一种更好的选择。未来一个很大的使用场景是类似于es日志存储,日志场景下数据会按照日期来切割数据,很多数据是冷数据,查询很少,需要降低这类数据的存储成本。对于热数据,其访问的频率很高,且往往是用户非常关心的数据,其实时性要求一般都很高,并且读写的频率也会更高,这正是DORIS本地存储重点解决的问题。从这个图上我们也可以看到,已经将部分数据迁移到对象存储上了。

2023-05-11 18:56:10 1672 1

原创 从 Elasticsearch 到 Apache Doris,10 倍性价比的新一代日志存储分析平台|新版本揭秘

日志数据的处理与分析是最典型的大数据分析场景之一,过去业内以 Elasticsearch 和 Grafana Loki 为代表的两类架构难以同时兼顾高吞吐实时写入、低成本海量存储、实时文本检索的需求。Apache Doris 借鉴了信息检索的核心技术,在存储引擎上实现了面向 AP 场景优化的高性能倒排索引,对于字符串类型的全文检索和普通数值、日期等类型的等值、范围检索具有更高效的支持,相较于 Elasticsearch 实现性价比 10 余倍的提升,以此为日志存储与分析场景提供了更优的选择。

2023-05-09 12:30:13 1049

原创 [实战系列]SelectDB Cloud Flink Connector 最佳实践

随着云基础设施的不断完善,云原生已经成为各行业数字化转型的必选项,越来越多的应用开始进行云原生化架构升级和应用迁移。而云原生实时数仓的出现,让传统的数据仓库无论是成本、灵活性还是开放性等方面都显露出不足。拥有高性能、高可用性、可伸缩性、高安全性等特征的云原生数据库,正在成为企业的首选。SelectDB Cloud作为一款运行于多云之上的云原生实时数据仓库,可以为客户提供极简运维和极致性价比的数仓服务,为用户提供开箱即用的能力。

2023-03-14 14:26:44 384

原创 [实战系列]SelectDB Cloud Datax 数据写入最佳实践

企业正在经历其数据资产的爆炸式增长,这些数据包括批式或流式传输的结构化、半结构化以及非结构化数据,随着海量数据批量导入的场景的增多,企业对于 Data Pipeline 的需求也愈加复杂。新一代云原生实时数仓 SelectDB Cloud 作为一款运行于多云之上的云原生实时数据仓库,致力于通过开箱即用的能力为客户带来简单快速的数仓体验。

2023-03-14 14:21:33 873

原创 [实战系列]SelectDB Cloud Kafka Connect 最佳实践张家锋

企业正在经历其数据资产的爆炸式增长,这些数据包括批式或流式传输的结构化、半结构化以及非结构化数据,随着海量数据批量导入的场景的增多,企业对于 Data Pipeline 的需求也愈加复杂。新一代云原生实时数仓 SelectDB Cloud 作为一款运行于多云之上的云原生实时数据仓库,致力于通过开箱即用的能力为客户带来简单快速的数仓体验。

2023-03-14 14:09:41 413

原创 [实战系列]SelectDB Cloud Spark Connector 最佳实践

企业正在经历其数据资产的爆炸式增长,这些数据包括批式或流式传输的结构化、半结构化以及非结构化数据,随着海量数据批量导入的场景的增多,企业对于 Data Pipeline 的需求也愈加复杂。新一代云原生实时数仓 SelectDB Cloud 作为一款运行于多云之上的云原生实时数据仓库,致力于通过开箱即用的能力为客户带来简单快速的数仓体验。

2023-03-14 14:05:23 2017

原创 打破数据孤岛,Apache Doris 助力纵腾集团快速构建流批一体数仓架构|最佳实践

随着纵腾集团业务的快速发展,各产品线提出的数据需求越发严格,而早期基于多套 CDH 大数据架构的技术栈和组件繁杂,开发和运维难度高、效率低,数据质量和时效难以保障,已无法满足当下数据分析需求,严重影响相关工作的开展。因此,纵腾集团在 2022 年正式引入 Apache Doris,基于 Apache Doris 构建了新的流批一体数据架构,同时建立了以 Apache Doris 为核心的数据中台。构建过程中对读写时效性、服务的稳定性及高并发读写等多方面进行了优化,在这一过程中我们也积累了诸多实践经验,在此总

2023-02-22 11:40:22 1043

原创 一文教你玩转 Apache Doris 分区分桶新功能|新版本揭秘

数据分片(Sharding)是分布式数据库分而治之 (Divide And Conquer) 这一设计思想的体现。过去的单机数据库在大数据量下往往面临存储和 IO 的限制,而分布式数据库则通过数据划分的规则,将数据打散分布至不同的机器或节点上,形成分布式存储,因此突破了单机存储空间和 IO 的瓶颈、使库表数据量可以无限拓展

2023-02-22 11:30:59 749

原创 从 ClickHouse 到 Apache Doris,腾讯音乐内容库数据平台架构演进实践

导读:腾讯音乐内容库数据平台旨在为应用层提供库存盘点、分群画像、指标分析、标签圈选等内容分析服务,高效为业务赋能。目前,内容库数据平台的数据架构已经从 1.0 演进到了 4.0 ,经历了分析引擎从 ClickHouse 到的替换、经历了数据架构语义层的初步引入到深度应用,有效提高了数据时效性、降低了运维成本、解决了数据管理割裂等问题,收益显著。本文将为大家分享腾讯音乐内容库数据平台的数据架构演进历程与实践思考,希望所有读者从文章中有所启发。作者:腾讯音乐内容库数据平台 张俊、代凯。

2023-02-22 11:17:48 686

原创 年度总结 | Apache Doris 2022 年全面突破,2023 年继续加速前行!

Apache Doris 2022 年全面突破,2023 年继续加速前行!

2023-01-18 10:27:41 209

原创 商业与数据生态议题解读,Doris Summit 2022 分论坛议程介绍|即刻报名

近年来,企业数据呈爆发式增长,数据湖对存储的系统的要求也越来越高,目前阿里云 OSS 数据湖已经实现以对象存储为中心,构建企业级数据,全兼容,多协议,统一元数据。只需几分钟,便可完成数据仓库的搭建,简单轻松地实现对海量数据的实时查询分析。EMR Doris 是开箱即用的云端 Doris 服务,支持海量数据高效导入、实时更新,支持对 10PB 级别的海量数据进行高并发查询,同时满足企业对报表与 OLAP 分析两类不同需求,帮助企业快速且低成本地构建极速易用的云上数据分析平台。扫 / 码 / 进 / 群。

2023-01-03 18:27:24 608

原创 [1.2.0新功能系列:三]Apache doris 1.2.0 Java UDF 函数开发及使用

我们在使用各个SQL引擎时,会有纷繁复杂的查询需求。一部分可以通过引擎自带的内置函数去解决,但内置函数不可能解决所有人的问题,所以一般SQL引擎会提供UDF功能,方便用户通过自己写逻辑来满足特定的需求,Doris也不例外。在java UDF之前,Doris提供了两种用户可以自己实现UDF的方式:远程UDF,其优缺点如下:支持通过 RPC 的方式访问用户提供的 UDF Service,以实现用户自定义函数的执行只要支持Protobuf的各类语言都能使用,有足够的安全和灵活性。

2022-12-12 12:19:38 3965 3

原创 [1.2.0新功能系列:二] Apache Doris 1.2.0 JDBC外表 及 Mutil Catalog

这里以 JDBC Mutil Catalog方式演示了Mutil Catalog方式的使用,其他Hive、Hudi、Iceberg及ES使用方法一样,具体可以参照官方文档:https://doris.apache.org/zh-CN/docs/dev/ecosystem/external-table/multi-catalog。多源数据目录(Multi-Catalog)是 Doris 1.2.0 版本中推出的功能,旨在能够更方便对接外部数据目录,以增强Doris的数据湖分析和联邦数据查询能力。

2022-12-12 12:14:33 2943

原创 [1.2.0新功能系列:一] Apache Doris 1.2.0 版本 Light Schema Change

在 1.2.0 新版本中,对数据表的加减列操作,不再需要同步更改数据文件,仅需在 FE 中更新元数据即可,从而实现毫秒级的 Schema Change 操作,且存在导入任务时效率的提升更为显著。与此同时,使得 Apache Doris 在面对上游数据表维度变化时,可以更加快速稳定实现表结构同步,保证系统的高效且平稳运转。如用户可以通过 Flink CDC,可实现上游数据库到 Doris 的 DML 和 DDL 同步,进一步提升了实时数仓数据处理和分析链路的时效性与便捷性。

2022-12-12 12:09:15 1850

原创 3分钟带你重温 SelectDB 产品发布会亮点!

在存储层,行为数据抽取出标签数据分层存储;虽然仅成立一年,但 SelectDB 在迅速发展之下,已经得到领域内各行各业优秀伙伴的认可,并且与他们开启了战略合作,目前,SelectDB 已陆续开始与合作伙伴们共建数据中台、BI应用等平台级解决方案,并开展了互联网、金融、政府、制造等行业级的解决方案构建。在成功牵手阿里云、华为云、腾讯云和 AWS 后,SelectDB 仍在积极的扩大自己的合作生态,不久的将来,用户也将能够通过 Google 和微软的云端享受到 SelectDB 的极致数据分析服务。

2022-12-08 18:22:57 726

原创 Apache doris 1.2.0 release

亲爱的社区小伙伴们,再一次经历数月的等候后,我们很高兴地宣布,Apache Doris 于 2022 年 12 月 7 日迎来 1.2.0 Release 版本的正式发布!有近 118 位 Contributor 为 Apache Doris 提交了超 2400 项优化和修复,感谢每一位让 Apache Doris 更好的你!自从社区正式确立 LTS 版本管理机制后,在 1.1.x 系列版本中不再合入大的功能,仅提供问题修复和稳定性改进,力求满足更多社区用户在稳定性方面的高要求。而在综合考虑版本迭代节奏和用

2022-12-08 13:44:26 1447

原创 Doris 运维篇:Apache Doris 如何定位处理问题的Tablet

这样我们就可以在下面这个列表里找到我们这个tablet 的 partition VisibleVersion。好,到这里我们看到这出问题这个tablet 所有的副本,在上面这个查询返回结果里我们关注几个字段。的时候返回的信息里最后一列,我们通过这一列可以知道我们要找的tablet 对应的。这个时候我们通过上面1-8条说明里讲解的内容就可以定位错误的 tablet 副本。这个时候我们都知道通过下面的命令来去查看这个tablet 情况。这个时候我们可以看到这个tablet 所有的副本。

2022-10-13 18:34:20 1679

原创 Doris 运维篇:Apache Doris tablet错误问题实操案例(一)

我们找到 permits 较大的一个任务对应的 tablet id,如下图permit 为 4096 的任务的 tablet id 为 5103093,然后继续分析这个 tablet 的 compaction 情况。今天一个用户出现BE(用户使用的是0.14.13.1这个版本) 启动之后,过一会就会挂掉,be.out也没有错误信息,不知道什么问题造成的。确认是OOM问题,这个时候我们要知道是什么引发的OOM,我打开了 top -H 命令,TableName 是空,其他的信息也是不对的,这样反而是好处理的。

2022-10-13 18:33:28 952

原创 全球第一!新一代云原生实时数仓 SelectDB 登顶 ClickBench 榜单!

登顶榜单只是 SelectDB 前进道路上的小目标之一,作为基于 Apache Doris 打造的运行于多云之上的新一代云原生数仓,SelectDB 具备了极速、易用、实时、统一的核心特性,并提供了多云一致体验和多数据类型支持,未来还将有更多重要能力呈现给大家,欢迎大家申请体验测试。从查询耗时的角度来看,SelectDB 相较于排行前列的其他产品,总体查询耗时分别降低了 63%、75%、78%、99% 以及 459%,性能大幅领先于同类产品。,在实现极致查询性能的同时也保证了高效的写入效率。

2022-10-10 13:50:25 285

原创 Apache Doris tablet 副本修复的原理、流程及问题定位

这种情况下,我们就要通过 BE 日志来分析具体的原因,是因为操作不当还是程序存在 Bug,如果是操作不当,可以先从操作上规避,然后将这个问题提交给社区,有社区开发人员定位分析,然后修复。每个副本的状态有以下几种。显示这个目标 BE 在去源 BE 请求创建 tablet 副本快照的时候失败了,这个时候我怀疑可能是其他的副本也是有问题的,正常情况下这个地方不应该失败,我通过。因为有三副本,之前只损坏一个副本,是不是另外一个副本也是这种情况呢,我又去看了另外一个be上的副本状态,最后发现也是同样的问题。

2022-09-12 15:34:41 1778

Eclipse RCP入门

Eclipse RCP入门Eclipse RCP入门Eclipse RCP入门Eclipse RCP入门

2009-12-03

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除