锋哥聊DORIS数仓

是不是使用非常简单，快快体验Doris 湖仓一体，联邦查询的能力，来加速你的数据分析性能。

这样这种节点其实就变成了一个无状态的 BE 节点，我们可以非常容易的进行弹性伸缩，不需要想之前混合节点那样，在扩展集群的时候，需要等待 tablet 副本均衡完成，这个节点才能进行有效的负载。然后我们将节点加入到集群之后，并启动节点，查看 BE 的信息，可以看到，NodeRole 这个字段，如果是 mix 表示为混合节点，如果是computation表示为计算节点。查看我们刚才执行的 SQL Profile 可以看到，这个Catalog外表的计算是在计算节点上进行的，并不是在混合节点上。

我们知道 Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。在Apache Doris 2.0 给大家带来了全新的倒排索引，利用Doris的MPP执行框架、向量化计算引擎、列式存储、标准SQL、CBO的查询优化器等特性为用户提供高性能，低成本的日志分析服务。解决上面的问题，需要集中化的日志管理，所有服务器上的日志收集汇总。

随着纵腾集团业务的快速发展，各产品线提出的数据需求越发严格，而早期基于多套 CDH 大数据架构的技术栈和组件繁杂，开发和运维难度高、效率低，数据质量和时效难以保障，已无法满足当下数据分析需求，严重影响相关工作的开展。因此，纵腾集团在 2022 年正式引入 Apache Doris，基于 Apache Doris 构建了新的流批一体数据架构，同时建立了以 Apache Doris 为核心的数据中台。构建过程中对读写时效性、服务的稳定性及高并发读写等多方面进行了优化，在这一过程中我们也积累了诸多实践经验，在此总

数据分片（Sharding）是分布式数据库分而治之 (Divide And Conquer) 这一设计思想的体现。过去的单机数据库在大数据量下往往面临存储和 IO 的限制，而分布式数据库则通过数据划分的规则，将数据打散分布至不同的机器或节点上，形成分布式存储，因此突破了单机存储空间和 IO 的瓶颈、使库表数据量可以无限拓展

导读：腾讯音乐内容库数据平台旨在为应用层提供库存盘点、分群画像、指标分析、标签圈选等内容分析服务，高效为业务赋能。目前，内容库数据平台的数据架构已经从 1.0 演进到了 4.0 ，经历了分析引擎从 ClickHouse 到的替换、经历了数据架构语义层的初步引入到深度应用，有效提高了数据时效性、降低了运维成本、解决了数据管理割裂等问题，收益显著。本文将为大家分享腾讯音乐内容库数据平台的数据架构演进历程与实践思考，希望所有读者从文章中有所启发。作者：腾讯音乐内容库数据平台 张俊、代凯。

近年来，企业数据呈爆发式增长，数据湖对存储的系统的要求也越来越高，目前阿里云 OSS 数据湖已经实现以对象存储为中心，构建企业级数据，全兼容，多协议，统一元数据。只需几分钟，便可完成数据仓库的搭建，简单轻松地实现对海量数据的实时查询分析。EMR Doris 是开箱即用的云端 Doris 服务，支持海量数据高效导入、实时更新，支持对 10PB 级别的海量数据进行高并发查询，同时满足企业对报表与 OLAP 分析两类不同需求，帮助企业快速且低成本地构建极速易用的云上数据分析平台。扫 / 码 / 进 / 群。

在 1.2.0 新版本中，对数据表的加减列操作，不再需要同步更改数据文件，仅需在 FE 中更新元数据即可，从而实现毫秒级的 Schema Change 操作，且存在导入任务时效率的提升更为显著。与此同时，使得 Apache Doris 在面对上游数据表维度变化时，可以更加快速稳定实现表结构同步，保证系统的高效且平稳运转。如用户可以通过 Flink CDC，可实现上游数据库到 Doris 的 DML 和 DDL 同步，进一步提升了实时数仓数据处理和分析链路的时效性与便捷性。

亲爱的社区小伙伴们，再一次经历数月的等候后，我们很高兴地宣布，Apache Doris 于 2022 年 12 月 7 日迎来 1.2.0 Release 版本的正式发布！有近 118 位 Contributor 为 Apache Doris 提交了超 2400 项优化和修复，感谢每一位让 Apache Doris 更好的你！自从社区正式确立 LTS 版本管理机制后，在 1.1.x 系列版本中不再合入大的功能，仅提供问题修复和稳定性改进，力求满足更多社区用户在稳定性方面的高要求。而在综合考虑版本迭代节奏和用

这样我们就可以在下面这个列表里找到我们这个tablet 的 partition VisibleVersion。好，到这里我们看到这出问题这个tablet 所有的副本，在上面这个查询返回结果里我们关注几个字段。的时候返回的信息里最后一列，我们通过这一列可以知道我们要找的tablet 对应的。这个时候我们通过上面1-8条说明里讲解的内容就可以定位错误的 tablet 副本。这个时候我们都知道通过下面的命令来去查看这个tablet 情况。这个时候我们可以看到这个tablet 所有的副本。

我们找到 permits 较大的一个任务对应的 tablet id，如下图permit 为 4096 的任务的 tablet id 为 5103093，然后继续分析这个 tablet 的 compaction 情况。今天一个用户出现BE（用户使用的是0.14.13.1这个版本） 启动之后，过一会就会挂掉，be.out也没有错误信息，不知道什么问题造成的。确认是OOM问题，这个时候我们要知道是什么引发的OOM，我打开了 top -H 命令，TableName 是空，其他的信息也是不对的，这样反而是好处理的。

登顶榜单只是 SelectDB 前进道路上的小目标之一，作为基于 Apache Doris 打造的运行于多云之上的新一代云原生数仓，SelectDB 具备了极速、易用、实时、统一的核心特性，并提供了多云一致体验和多数据类型支持，未来还将有更多重要能力呈现给大家，欢迎大家申请体验测试。从查询耗时的角度来看，SelectDB 相较于排行前列的其他产品，总体查询耗时分别降低了 63%、75%、78%、99% 以及 459%，性能大幅领先于同类产品。，在实现极致查询性能的同时也保证了高效的写入效率。

这种情况下，我们就要通过 BE 日志来分析具体的原因，是因为操作不当还是程序存在 Bug，如果是操作不当，可以先从操作上规避，然后将这个问题提交给社区，有社区开发人员定位分析，然后修复。每个副本的状态有以下几种。显示这个目标 BE 在去源 BE 请求创建 tablet 副本快照的时候失败了，这个时候我怀疑可能是其他的副本也是有问题的，正常情况下这个地方不应该失败，我通过。因为有三副本，之前只损坏一个副本，是不是另外一个副本也是这种情况呢，我又去看了另外一个be上的副本状态，最后发现也是同样的问题。

该处理方法适用于 Apache Doris 0.14.7 及之后所有版本常见问题。

我们在成功部署完成 Doris 之后，我们可以通过任意 MySQL 客户端来连接 Doris ，下面我们的示例是通过 MySQL 客户端命令行工具来进行操作。命令来修改表的 Schema ，包括增加列，修改列类型、删除列、改变列的顺序。如果作业长时间没有完成，或者影响到了其他操作，你可以通过下面的命令来取消作业。我们执行完建表语句，表创建成功之后，我们可以通过下面的命令来查看表的相关信息。命令来查看创建好的数据库，这个命令会显示所有已经创建的数据库。，来满足不同用户场景的使用，下面我们以。

聚集了doris的很多用户案例，宫大家参考

这里我们介绍如何通过二进制安装包方式，手动的一步步安装Apache Doris。如果你需要从编译安装部署，参考。下面我们以部署一台 FE 节点和一台 BE节点为例来演示部署，正常情况 Doris 集群下我们建议至少要部署一个 FE 节点及三个 BE 节点。...

随着数据实时化需求的日益增多，数据的时效性对企业的精细化运营越来越重要，在海量数据中，如何能实时有效的挖掘出有价值的信息，快速的获取数据反馈，协助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。在这种形势下，Apache Doris 作为一款实时 MPP 分析型数据库脱颖而出，同时具备高性能、简单易用等特性，具有丰富的数据接入方式，结合 Flink 流式计算，可以让用户快速将 Kafka 中的非结构化数据以及 MySQL 等上游业务库中的变更数据，快速同步到 Doris 实

作者｜同程数科大数据高级工程师 王星同程数科是同程集团旗下的旅游产业金融服务平台，前身是同程金服，正式成立于 2015 年。同程数科以“数字科技引领旅游产业”为愿景，坚持以科技的力量，赋能我国旅游产业。目前，同程数科的业务涵盖产业金融服务、消费金融服务、金融科技及数字科技等板块，累计服务覆盖超过千万用户和 76 座城市。图1.1 业务场景-业务介绍主要包含四大类：图1.2 业务场景-业务需求综合以上业务需求，我们进行了系统架构建设。图2.1 架构演变-架构1.0架构1.0 是前几年非常流行的以 SteamS

分享人｜货拉拉大数据引擎负责人 杨秋吉，张斌业务背景货拉拉成立于 2013 年，成长于粤港澳大湾区，是一家从事同城、跨城货运、企业版物流服务、搬家、汽车销售及车后市场服务的互联网物流公司。截至 2022 年 4 月，货拉拉的业务范围已经覆盖了国内 352 座城市，月活司机达到 58 万，月活用户达到 760 万，包含 8 条以上的业务线。货拉拉大数据体系为支撑公司业务，现在已经成立三个 IDC 集群、拥有上千台规模的机器数量，存储量达到了 20PB、日均任务数达到了 20k 以上，并且还处在快速增长的过程中

这篇教程将展示如何使用 Flink CDC + Iceberg + Doris 构建实时湖仓一体的联邦查询分析，Doris 1.1版本提供了Iceberg的支持，本文主要展示Doris和Iceberg怎么使用，同时本教程整个环境是都基于伪分布式环境搭建，大家按照步骤可以一步步完成。完整体验整个搭建操作的过程。本教程的演示环境如下：1.2 系统架构我们整理架构图如下Doris湖仓一体的联邦查询架构如下：配置系统环境变量2.2 配置hdfs2.2.1 core-site.xmlvi

Advance Intelligence Group（领创集团）成立于 2016 年，是一家以 AI 技术驱动的科技集团，致力于通过科技创新的本地化应用，改造和重塑金融和零售行业，以多元化的业务布局打造一个服务于消费者、企业和商户的生态圈。集团旗下包含企业业务和消费者业务两大板块，企业业务包含 ADVANCE.AI 和 Ginee，分别为银行、金融、金融科技、零售和电商行业客户提供基于 AI 技术的数字身份验证、风险管理产品和全渠道电商服务解决方案；消费者业务 Atome Financial 包括亚洲领先的

作者｜物易云通 / 司机宝大数据负责人 吴凡武汉物易云通网络科技有限公司成立于 2015 年 6 月，总部位于湖北省武汉市东湖高新区。作为国内产业互联网的探索先行者，公司致力于将产业互联网思维与新一代信息技术深化应用于煤炭、建筑、再生资源三大业务领域，以标准化、场景化、数字化的供应链综合服务解决能力，开创互联网化的 “供应链技术 + 物流服务 + 金融场景” 的产融协同新生态。目前公司已成为国内产融供应链运营服务平台的领军企业之一，平台年交易额超过 200 亿元。公司入选 2020 年中国互联网企业综合实力

全球最大的开源软件基金会 Apache 软件基金会（以下简称 Apache）于美国时间 2022 年 6 月 16 日 宣布，Apache Doris 成功从 Apache 孵化器毕业，正式成为 Apache 顶级项目（Top-Level Project，TLP）。以下内容译至 Apache Doris 官网（https://doris.apache.org/ ），点击“ 阅读原文 ”或 复制以上链接前往查看。Apache Doris 是一个基于 MPP 的现代化、高性能、实时的分析型数据库，以极速易用的特

作者介绍：Pencil，网易游戏数据与平台的离线平台组高级开发工程师，目前负责 Trino (Presto)/Doris 等组件的开发和业务支持工作。离线平台小组目前为广州互娱的大数据离线计算提供了接近 EB 级别的大数据存储集群服务，以及 Hive/Spark/Presto/Doris/ClickHouse 等计算框架的开发与业务支持。随着公司游戏业务的高速发展，越来越多的分析需求涌现，例如：各类游戏用户行为分析、商业智能分析、数仓报表等。这些场景的数据体量都较大，对数据分析平台提出了很高的要求。为了解决

Apache Doris 介绍Apache Doris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。Apache Doris的分布式架构非常简洁，易于运维，并且可以支持10PB以上的超大数据集。Apache Doris可以满足多种数据分析需求，例如固定历史报表，实时数据分析，交互式数据分析和探索式数据分析等。令您的数据分析工作更加简单高效！Doris Ansible简介Doris_ansible是基于ansible构建的Doris高可用集群

概述Nginx能够实现HTTP、HTTPS协议的负载均衡，也能够实现TCP协议的负载均衡。那么，问题来了，可不可以通过Nginx实现Apache Doris数据库的负载均衡呢？答案是：可以。接下来，就让我们一起探讨下如何使用Nginx实现Apache Doris的负载均衡。环境准备注意：使用Nginx实现Apache Doris数据库的负载均衡，前提是要搭建Apache Doris的环境，Apache Doris FE的IP和端口分别如下所示, 这里我是用一个FE来做演示的，多个FE只需要在..

1.系统环境CentOS 7.7.19082. 安装包unixODBC ：2.3.9freetds：1.2.213. 部署步骤3.1 安装unixODBC （源码安装)下载最新的unixODBC源码包，下载url：http://www.unixodbc.org，放置目录下，如：/usr/local，然后执行以下命令：# tar zxvf unixODBC-2.3.9.tar.gz# cd unixODBC-2.3.9/# ./configure --prefi.

集群制作Author：苏奕嘉脚本研发Author：种益调研测试Author：杨春东前言Apache Doris是当下非常火热和流行的MPP架构OLAP数据库，很多同学想自学/测试Doris的使用和能力，但是又苦于没有环境或者畏惧冗长的编译+搭建过程，整个过程极大的劝退了很多有些尝试意愿、但又由于各种客观因素无法承担过高学习成本导致尝试失败的同学，故此Apache Doris社区三位社区同学苏奕嘉、种益、杨春东制作了三个不同设计的版本安装方式并提供下载，以此降低大家的学习门槛和提升学习...

基础环境1.Prometheus 版本：2.22.2下载地址：https://github.com/prometheus/prometheus/releases/download/v2.22.2/prometheus-2.22.2.linux-amd64.tar.gz2.Alertmanager 版本：0.23下载地址：https://github.com/prometheus/alertmanager/releases/download/v0.23.0/alertmanager-0

本文是在CentOS 7.9下测试通过使用的Doris是：0.15.0unixODBC版本是：2.3.11.PostgreSQL以下是PostgreSQL数据库版本和PostgreSQL ODBC驱动版本和Apache Doris版本适配没问题列表PostgreSQL版本 PostgreSQL ODBC版本 12.9 postgresql12-odbc-13.02.0000 13.5 postgresql13-odbc-13.02.0000 14.1

Apache Doris Oracle ODBC外表使用指南1.软件环境 操作系统：CentOS 7.8 Apache Doris ：0.15 Postgresql数据库：oracle 19c UnixODBC：2.3.1 Oracle ODBC ：instantclient-odbc-linux.x64-19.13.0.0.0dbru 2.Oracle安装部署因为是测试没有Oracle的环境，由于安装比较繁琐耗时，所以通过Docker进行快速安装部

1.软件环境操作系统：ubuntu 18.04 Apache Doris ：0.15 Postgresql数据库：oracle 19c UnixODBC：2.3.4 Oracle ODBC ：instantclient-odbc-linux.x64-19.13.0.0.0dbru2.Oracle安装部署因为是测试没有Oracle的环境，由于安装比较繁琐耗时，所以通过Docker进行快速安装部署2.1 制作镜像安装方法是通过官方dockerfile自己编译镜像安装，root@i

今天是2022年阳历新年第一天，祝大家元旦快乐，这也是2022年第一篇文章，后续会给大家带来更多关于Doris的文章，同时也希望Doris 2022年起飞，顺利从Apache 孵化器毕业成顶级项目，给大家带来更快、更稳定、生态更丰富的MPP OLAP分析型数据库产品。Apache Doris 社区 2022 年的总体规划，包括待开展或已开展、以及已完成但需要持续优化的功能、文档、社区建设等多方面，我们期待有更多的小伙伴参与进来讨论。同时也希望多多关注Doris，给Doris加StarApache D

今天是2021年最后一天，提前祝大家元旦快乐，这也是2021年最后一篇文章，后续会给大家带来更多关于Doris的文章，同时也希望Doris 2022年起飞，顺利从Apache 孵化器毕业成顶级项目，给大家带来更快、更稳定、生态更丰富的MPP OLAP分析型数据库产品。Apache Doris 社区 2022 年的总体规划，包括待开展或已开展、以及已完成但需要持续优化的功能、文档、社区建设等多方面，我们期待有更多的小伙伴参与进来讨论。同时也希望多多关注Doris，给Doris加StarDoris 20

本文使用的GO是1.17.2Doris 0.15.0 release版Doris的数据导入有各种语言的版本，但是GO语言版本的基本见不到，简单学了一下，写了一个简单的Stream Load入库的示例，仅供参考示例中使用的表结构：CREATE TABLE IF NOT EXISTS user_info( user_id LARGEINT NOT NULL COMMENT "用户id", username varchar(50) NOT NULL COMMENT "用户名

亲爱的社区小伙伴们，历时数个月精心打磨，我们很高兴地宣布，Apache Doris 于 2021 年 11月 29日迎来了 0.15.0Release 版本的正式发布！有 99位 Contributor为 Apache Doris 提交了近700项优化和修复，在此我们也对所有贡献者表示最真诚的感激！在 0.15.0 Release 版本中，我们增加了诸多新功能，对 Apache Doris 的查询性能、易用性、稳定性方面等进行了全面优化：新增资源划分和隔离功能，用户可以通过资源标签的...

Binlog Load提供了一种使Doris增量同步用户在Mysql数据库的对数据更新操作的CDC(Change Data Capture)功能，使用户更方面的完成Mysql数据的导入注意：该功能需要在0.15及以后的版本里使用1. 安装配置 Mysql安装Mysql 快速使用Docker安装配置Mysql，具体参照下面的连接https://segmentfault.com/a/1190000021523570 如果是在物理机上安装可以参考下面的连接：在 CentOS 7 中安装 MySQ

整个集群重点关注的几个指标： 集群 FE JVM 堆统计 集群BE内存使用情况概览 Max Replayed journal id BDBJE Write Tablet调度情况 BE IO统计 BE Compaction Score Query Statistic这部分查询请求数及响应时间 BE BC（Base Compaction）和CC（Compaction Cumulate） 总览视图 1.1 Doris

本文通过实例来演示怎么通过Flink CDC 结合Doris的Flink Connector实现从Mysql数据库中监听数据并实时入库到Doris数仓对应的表中。1.什么是CDCCDC 是变更数据捕获（Change Data Capture）技术的缩写，它可以将源数据库（Source）的增量变动记录，同步到一个或多个数据目的（Sink）。在同步过程中，还可以对数据进行一定的处理，例如分组（GROUP BY）、多表的关联（JOIN）等。例如对于电商平台，用户的订单会实时写入到某个源数据库；A 部门