Nifi + Kafka + mysql构建实时数仓

标题Nifi + Kafka + mysql构建实时数仓

Nifi 安装 Nifi安装
Kafka安装 kafka安装

一 Nifi 简介

Nifi 最重要的就是Processor（数据处理单元）和FlowFlie（数据流）

• FlowFile: 每条“用户数据”（即，用户通过NiFi获取或者是生成的，需要进行处理和分发的数据）均被称为FlowFile。 FlowFile由两部分组成：属性和内容。 内容是用户数据本身， 属性是与用户数据关联的键值对，用来提供一些额外的信息。比如fliename，表示的就是FlowFile的文件名,如果是通过GetFile从操作系统中取的文件的话,则filename就表示的是取到的文件的名称.

  Processor：是NiFi中负责创建、发送、接收、转换、路由、拆分、合并和处理FlowFiles的业务组件。 它是NiFi用户可用于构建其数据流的最重要的构建块。

二 Nifi简单使用 移动文件

拖动图中红色创建一个组，然后在组中进行数据处理


工程完整数据流

分步骤创建
1.创建getfile

配置getfile

填写要复制文件所在的目录

同理创建一个putfile


身材flo