2021年04月_野狼e族

04月

原创 Apache Doris数据模型(二)

2、Doris介绍2.1 Doris简介Doris（原百度 Palo）是一款基于大规模并行处理技术的分布式 SQL 数据库，由百度在2017年开源，2018年8月进入 Apache 孵化器。（区别于DorisDB，Apache Doris 属于开源版本，属于DorisDB的标准版，目前一些公众号宣传的DorisDB属于商业版本，性能比Apache Doris好）主要整合了Google Mesa（数据模型），Apache Impala（MPP Query Engine)和Apache ORCFil

2021-04-06 16:58:35 1327

原创 Flink 检测一段时间内的温度连续上升输出报警

需求：Flink 检测10s 的温度连续上升，则输出报警方案：我们使用了keyBy函数，因为只有KeyedProcessFunction只能操作KeyedStream下面简单介绍一下KeyedStreamKeyedProcessFunction类型的上层父类是RichFunction, 对分流后每一个元素调用一次KeyedProcessFunction中的elementProcess方法，可以通过Context调用timeServier, 注册定时器, 获得当前水位线, 处理时间, 等信息。.

2021-04-06 16:37:09 1502

原创 Flink与外部存储交互优化

在Flink流式程序设计中，经常需要与外部系统进行交互，很多时候外部系统的性能会成为任务整体吞吐的瓶颈，通常的解决方案会通过提高任务并发度增加对外部系统并发访问，如此会带来Flink额外的资源管理负载以及整体cpu利用率不高的问题。对于Flink与外部存储交互的场景，可以通过Flink 异步IO和单并发度多线程的机制提高任务吞吐能力，而不需要提高任务并发度从而提升整体资源利用率。一、 Flink异步IO对于Flink程序，通常的交互实现为同步请求，即发送一个请求，直到...

2021-04-06 16:28:50 373

原创 Flink 数据积压问题

目录项目背景问题描述问题定位如何定位到底是哪个算子处理能力跟不上？结论问题解决思路解决项目背景将数据（kafka）以批量的方式，通过SCF接口写入TIDB中过滤出指定的用户id，发到对应的规则检测kafka主题中整体的数据流程图，如下图所示：问题描述运行一段时间后发现，消费开始积压，通过wstream的监控（也可以查看kafka的监控）问题定位如何定位到底是哪个算子处理能力跟不上？我们明明写了...

2021-04-06 15:59:30 2524

原创 Flink checkpoint失败

目录前言问题描述问题定位checkpoint的基本原理思路现象问题解决前言Flink容错机制的核心部分是绘制分布式数据流和操作员状态的一致快照。这些快照充当一致的检查点，如果发生故障，系统可以回退到这些检查点。Flink绘制这些快照的机制在“分布式数据流的轻量级异步快照”中进行了介绍。它受用于分布式快照的标准Chandy-Lamport算法的启发，并且专门针对Flink的执行模型进行了量身定制。问题描述flink任务，从kafka中获取数据，经过处理，写...

2021-04-06 15:53:09 2083 1

原创 RocksDB

目录RocksDB 简介TiKV 架构RocksDB 的内存占用RocksDB 的空间占用RocksDB 后台线程与 CompactWriteStallRocksDB 简介RocksDB是由 Facebook 基于 LevelDB 开发的一款提供键值存储与读写功能的 LSM-tree 架构引擎。用户写入的键值对会先写入磁盘上的 WAL (Write Ahead Log)，然后再写入内存中的跳表（SkipList，这部分结构又被称作 MemTable）。LSM-tree 引擎.

2021-04-06 15:40:49 1064

原创 Apache Doris 架构原理及特性(四)

5、架构原理5.1 Doris整体架构Doris主要分为FE和BE两个组件，FE主要负责查询的编译，分发和元数据管理（基于内存，类似HDFS NN）；BE主要负责查询的执行和存储系统1、这张图是Doris的整体架构。Doris的架构很简洁，只设FE(Frontend)、BE(Backend)两种角色、两个进程，不依赖于外部组件，方便部署和运维。2、以数据存储的角度观之，FE存储、维护集群元数据；BE存储物理数据。3、以查询处理的角度观之, FE节点接收、解析查询请求，规划查询计划，调

2021-04-01 10:50:36 4173 2

原创 Apache Doris高级用法 (三)

4、高级用法4.1 添加RollupRollup 可以理解为 Table 的一个物化索引结构。物化是因为其数据在物理上独立存储，而索引的意思是，Rollup可以调整列顺序以增加前缀索引的命中率，也可以减少key列以增加数据的聚合度。以下举例说明。原表table1的Schema如下:+----------+-------------+------+-------+---------+-------+| Field | Type | Null | Key ...

2021-04-01 10:22:04 1664

原创 Apache Doris 基础使用(一)

目录1.1 创建数据库1.2 建表1.2.1 单分区1.2.2 复合分区1.3 导入数据1.3.1 Broker 导入1.3.2 Routine 导入1.3.3 其他导入方式1.1 创建数据库### 1.1 创建数据库```sqlMySQL> CREATE DATABASE example_db;MySQL> SHOW DATABASES;+--------------------+| Database |+-----

2021-04-01 10:01:52 2031 1