一、我们为什么不用 Flink
在信息流推荐业务场景中,数据是模型迭代的原材料,是指标增长的重要基石,而「数据流」则贯穿整个推荐业务场景。
一些系统创建了数据,而另一些系统需要使用这些数据。因此高效的数据流托管和自动化传输,是很长时间以来一直困扰我们的问题。为了使不同系统间的数据标准得到统一,企业常用 Flink 或 Storm(以下简称 FS)构建系统间数据流传输的解决方案。但是在推荐架构侧,很多场景下直接搬运数据流即可,不需要进行大量转化,这时使用 FS 的代价就有点大了,而且并不高效。
对于数据流的处理和分发,Apache 家族的另一大成员 NiFi 则更擅长做这种事情。假如老板给你一个新需求,要增加一路数据到 ES。如果使用 FS 的话,代码开发、测试、部署再到线上验证,这个复杂的流程可能会用掉一上午的时间,但对于 NiFi 来说,你可能只用 5 分钟就可以完成。
目前可供查阅的 NiFi 资料并不多,本文将结合 NiFi 在信息流推荐引擎中的使用,简单介绍 NiFi 的特点和使用方式,以期抛转引玉。
二、面向流程的大数据处理框架 NiFi
NiFi 最初由美国国家安全局(NSA)开发和使用的一个可视化、可定制的数据集成产品。2014 年 NSA 将其贡献给了 Apache 开源社区,2015 年 7 月成为 Apache 顶级项目。
2.1 Nifi 特性
NiFi 为数据流而设计,它可以用来在不同的数据中心之间搭建数据流通的管道。NiFi 通过拖拽界面、配置参数、简单地连接,即可完成对数据流的托管和系统间的自动化传输,使用者可以可视化整个过程并实时进行更改。相比于 FS,它还有很多优秀的特性:
- Web 界面拖放组件,并支持图形化配置
- 使用人员无需进行代码开发
- 支持多种数据源
- 自动进行负载均衡和反压
- 方便监控
- 便于扩展且易恢复
- 支持模板复用
下面,我们试着通过 Nifi 的框架来了解它在界面上搭建的工作流,到底是以什么形式在后端进行解析和运转的。
2.2 框架和集群
NiFi 是基于 Java 的,通过主机上的 JVM 来进行执行,主要由Web Server、Flow Controller、Repository 这三个核心部件组成:
Web Server:NiFi 提供了基于 HTTP 协议的 Web 页面,我们可以通过 Web 页面来操作自己的 Task。
Flow Controller:NiFi 的核心部分,可以理解成文件交流的处理器;Processer 则是实际处理单元。
- NiFi 将每一个功能集成到一个 Processor 上,Flow Controller 维持着多个处理器的连接并管理各个Processer。
- NiFi 提供了许多可用的 Processor,如 HDFS、Attributes、Kafka 等,我们在使用时可以直接拖拽 Processor 并更改其配置。
- 当官方的 Processor 不能支持我们的业务需求时,我们还可以利用 Nifi 的可扩展性进行定制开发。
Repository:NiFi 提供了三个数据库 FlowFile、Content、Provenance,分别来存储数据流的运行状态、实际数据以及数据源信息。
NiFi 也支持集群模式,运行时每个节点执行相同操作、不同数据。集群依赖 ZooKeeper。ZK 会选出主节点以及集群协调器,负责监督其他节点的心跳:
综上我们可以看到,NiFi 为自动化系统之间的数据流提供了优秀的解决方案。无论数据源头是 MySQL、NoSQL、Kafka、Spark,NiFi 都可以提供相应的支持和丰富的 Processor。基于 WEB 图形界面,通过拖拽、连接、配置就可以完成基于流程的编程,实现数据采集、处理等功能。而且对集群模式的支持,也赋予了 Nifi 良好的横向扩展能力。
三、NiFi 在推荐引擎平台的应用及扩展
3.1 应用现状
目前,Nifi 已经应用在推荐引擎平台的很多在线任务中,包括用户行为实时数据落入 HDFS、曝光事件落盘到 ES、Session 数据的同步任务、兴趣标签落盘到 MySQL 等。
下面是一个用户行为数据实时落盘到 HDFS 的实例:
其中每个 Processor 都可以通过图形化配置相应的属性,无需代码开发即可完成数据的传输。其中 EvaluateJsonPath 的作用是取 FlowFile 中的属性给某个字段赋值以方便后续使用,UpdateAttribute 的作用是对某些字段进行简单处理。从配置这些 Processor 到完成一个 Job 只需要几分钟的时间,极大提升了大家的工作效率。
以下是我们推荐引擎团队使用 NiFi 的一些主要的 Processor Group/Job,主要包括:
- 实时用户行为数据落盘到 Hive 表,为算法组同学计算小时级模型提供了数据支撑;
- 实时行为数据落入 ES,帮助提供包括首页在内的各个场景的实时监控(CTR 监控、各路召回监控、排序打分情况等);
- 用户每一屏的画像快照落盘到 ES,为推荐架构历史查询系统提供数据支持,对线上修复各种 Bad Case 提供了便利;
- 帮助内容挖掘组的同学解决了新增推荐池笔记图片的打分存储问题。
3.2 扩展开发
虽然 NiFi 已经集成了很多 Processor 供我们使用,但是随着业务复杂度不断升级,有时候我们需要定制开发适合团队的 Processor。比如我们业务场景中用到了 RocketMQ,NiFi 本身是不支持 RocketMQ 数据流的传输的,这时就需要进行扩展性开发。
通常,通过继承 AbstractProcessor 抽象类,并复写 onTrigger 与 onScheduled 方法来进行开发。每一个 Processor 都有相应的配置,而配置信息可用下边这段代码来进行添加:
private final PropertyDescriptor TOPIC = new PropertyDescriptor.Builder()
.name("TOPIC")
.displayName("TOPIC")
.description("TOPIC")
.required(true)
.addValidator(StandardValidators.NON_BLANK_VALIDATOR