JustinMars的博客

Kafka：作为流数据平台，负责接收和传输来自不同源系统（如应用日志、传感器数据、交易系统等）的数据。Flink SQL：使用 Apache Flink 提供的 SQL 引擎进行流式数据处理、转换、聚合和窗口计算等操作。Flink SQL 使得实时数据流的处理变得更简单。MySQL：作为下游持久化存储，存储数据仓库的结构化数据，并支持实时查询和分析。通过 Kafka 实现 ODS、DWD 和 DWS 分层架构，每一层都通过 Kafka 作为数据传输管道，利用 Flink SQL 进行数据处理。

批量修改表名前缀

批量修改数据库字段类型

COUNT(*)：统计所有行。COUNT(column_name)：统计某列的非 NULL 值。COUNT(DISTINCT column_name)：统计某列中不重复的非 NULL 值。

Doris建表规则

Doris部署报错

swap 分区是内核发现内存紧张时，会按照自己的策略将部分内存数据移动到配置的 swap 分区，由于内核策略不能充分了解应用的行为，会对数据库性能造成较大影响。不建议使用设置 vm.swappiness = 0 的方式，因为这个参数在不同的 Linux 内核版本会有不同的语义，很多情况下不能完全关闭。永久关闭，使用 Linux root 账户，注释掉 /etc/fstab 中的 swap 分区，然后重启即可彻底关闭 swap 分区。临时关闭，下次机器启动时，swap 还会被打开。关闭 swap 分区。

Doris数据库内容笔记

Doris JDBC Catalog 支持通过标准 JDBC 接口连接 MySQL 数据库

物化视图 在 Doris 中提供了更强大的查询优化能力，支持复杂的 SQL 查询语法，是优化复杂查询和数据分析的强大工具。Rollup 表则更适合简单的聚合查询优化，能够在较少的存储成本下提高查询性能。

逻辑视图 是一种轻量级的视图，它的优势在于不占用额外的存储空间，并能实时反映数据变化，但其性能可能较差。物化视图通过预计算和存储来大幅度提升查询性能，适用于需要快速响应的复杂查询场景，但它会占用额外的存储空间。

Apache Doris 的查询优化器结合了基于规则的优化器（Rule-Based Optimizer, RBO）和 基于代价的优化器（Cost-Based Optimizer, CBO），以实现高效的查询执行计划生成。这种策略充分利用了 RBO 的高效性和 CBO 的灵活性，为不同类型的查询提供了最佳的性能优化。

Apache Doris 通过自适应查询执行（AQE）和 Runtime Filter 技术，极大地增强了查询优化的灵活性和效率。AQE 能够根据实时的运行时信息动态调整查询计划，适应复杂多变的数据场景。而 Runtime Filter 则通过在查询执行过程中动态生成和应用过滤条件，显著减少了数据处理量和 I/O 开销，提升了查询性能。结合这两者，Apache Doris 能够在大规模数据分析中提供高效、灵活的查询处理能力，是一种非常强大的查询优化技术。

Incremental Read（增量读取）是 Apache Doris 用来提高查询效率的一个重要功能。它的核心思想是通过增量地读取和处理数据，减少不必要的数据扫描，从而加速查询的执行。这个功能特别适用于那些数据更新频繁但查询侧重于最新数据的场景。

Doris 建表修改规则。

在Doris中，tablet是数据存储的最小单元，通过分区和分桶实现数据的分布式存储。Tablet具有高可用性、负载均衡和查询优化的特点，通过副本机制、负载均衡和并行处理等技术手段，确保系统的稳定、高效运行。理解tablet的底层原理，有助于更好地设计和优化Doris的使用场景.

手动分桶和自动分桶各有优缺点，适用于不同的业务场景。手动分桶适合需要精细化管理的场景，而自动分桶则适合简化管理和优化性能的场景。结合动态分区和手动分桶，可以实现更加灵活和高效的数据管理策略。

手动分区适合需要精细化管理的场景，而自动分区适合简单高效的场景。用户可以根据实际情况选择合适的分区方式。

合理的分区和分桶策略在 Apache Doris 中至关重要。通过选择合适的分区列和分桶列，合理设置分区范围和桶数，充分利用分区裁剪和并行查询技术，可以显著提升查询性能和数据管理效率。根据实际业务场景和数据特点，动态调整分区和分桶策略是优化的重要环节。

明细模型：适用于需要存储和查询完整原始数据的场景。主键模型：适用于数据需要频繁更新的场景，通过主键保证数据的唯一性和一致性。聚合模型：适用于需要快速查询汇总数据的场景，通过预先聚合数据提升查询性能。

doris be 报错

doris 安装报错

datasophon 安装部署 doris

监听链接断开通常是在网络编程中的一个重要任务，特别是在客户端和服务器之间的通信中。

Doris 编译

Doris编译

Doris 编译报错 CMake 3.1 or higher is required. You are running version 2.8.12.2

doris 编译报错configure: error: C compiler cannot create executables

Doris 编译 Failed to download libevent-release-2.1.12-stable.tar.gz. attemp: 1 /bigdata/apps/doris-mas

Doris 编译报错 Error: flex version (2.5.37) must be greater than or equal to 2.6.0

doris 配置jdbc catalog新增数据库或者表并未实时同步解决方案

docker 安装doris

查询hive的database。创建hive的catalog。

DORIS 通过web界面导入数据

centos 7安装gbase数据库单机版

doris 自定义函数

ubunto 18 离线安装MySQL

Linux 安装mysql5.7

doris 1.0.0使用hive外部表报元数据连接错误

doris 用户管理角色，用户，授权