Flink状态后端RocksDBStateBackend的使用

第1章 简介

Flink状态和checkpoint的概念这里就不多赘述了，有兴趣的朋友可以看看我之前的文章，直接看一下官方对目前三种StateBackend的对比，在生产环境中我们经常选用的就是RocksDBStateBackend，他有磁盘存储和增量cp的优势，接下来我们就看看开发过程中如何使用RocksDBStateBackend。

名称	Working State	状态备份	快照
RocksDBStateBackend	本地磁盘（tmp dir）	分布式文件系统	全量 / 增量
支持大于内存大小的状态 经验法则：比基于堆的后端慢10倍
FsStateBackend	JVM Heap	分布式文件系统	全量
快速，需要大的堆内存 受限制于 GC
MemoryStateBackend	JVM Heap	JobManager JVM Heap	全量
适用于小状态（本地）的测试和实验

在新版本中有所改动，分为一下两种：

• HashMapStateBackend：状态数据以 Java 对象的形式存储在堆中。 Key/value 形式的状态；
• EmbeddedRocksDBStateBackend：将正在运行中的状态数据保存在RocksDB数据库中。

新旧版本使用方法大同小异，下面我们看看具体的使用。 

第2章 全局配置

我们可以在flink-conf.yaml 中进行全局的配置，如果job中有自己的设置，优先job中的设置。

# 用于存储 operator state 快照的 State Backend
state.backend: rocksdb

# 增量
state.backend.incremental: true

# 存储快照的目录
state.checkpoints.dir: hdfs://namenode:40010/flink/checkpoints

第3章 作业中使用

如果要在程序中使用RocksDB作为StateBackend，需要引入如下依赖：

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-statebackend-rocksdb_2.11</artifactId>
    <version>1.14.2</version>
    <scope>provided</scope>
</dependency>

 程序中再进行如下设置：

env.setStateBackend(new RocksDBStateBackend("hdfs://namenode:40010/flink/checkpoints", true));

 checkpoint目录详细说明见：checkpoint目录结构

 更多信息可查阅官方文档：Apache Flink State Backends

---

2021年就要接近尾声了，时间过的真快，有一段时间没有输出文章了，今天续上一篇，感恩2021 ！！