qq_21305943的专栏

一、NIFI是什么Apache NiFi 是一个易于使用，功能强大且可靠的系统，用于处理和分发数据。可以自动化管理系统间的数据流。它使用高度可配置的指示图来管理数据路由、转换和系统中介逻辑，支持从多种数据源动态拉取数据。NiFi原来是NSA的一个项目，目前已经代码开源，是Apache基金会的顶级项目之一。 NiFi是基于Java的，使用Maven支持包的构建管理。NiFi基于Web方式工作，后台在服务器上进行调度。用户可以将数据处理定义为一个流程，然后进行处理，NiFi后台具有数据处理引...

一、需求梳理：1、FTP服务器上有定时新增的csv文件，文件名按照固定格式命名。2、提取文件名上的一些字符串信息合并到数据流中，入库。3、替换文件流中的一些字段值。实现ETL的功能，其流程图如下：二、文件流数据替换选用UpdateRecord处理器、选用Schema Text格式。Schema Access Strategy：Use 'Schema Text' Property Schema Text：{ "type":"record", "name":"nifiRecord

NIFI1、NIFI历史NSA创造了Nifi，并且使用了8年。在2014年将其贡献给了Apache开源社区，2015年的时候成为了顶级项目。是一个用户友好，可扩展且可靠的，专为处理数据流而诞生的，数据处理和分发系统。2、NIFI特点用户友好：使用者可以完全通过基于web页面的可视化工具，通过拉拽、链接、配置，完成一个数据处理和分发流程。还可以保存一个通用的数据流处理模板，套用到其它处理流程上。可扩展：Nifi有两个版本，既可以本地使用，也可以在分布式的集群环境下使用。...

开发flink程序有固定的流程：1）获得一个执行环境。 如：StreamExecutionEnvironment2）加载/创建初始化数据。 如：从kafka/文本等获取数据3）指定操作数据的transaction（算子）。 计算逻辑处理4）指定计算好的数据的存放位置 。 如：addSink()5) 调用execute()触发程序执行。f...