- 博客(24)
- 收藏
- 关注
RSS订阅原创 NiFi Registry元数据详细介绍
NiFi Registry元数据表信息详细介绍术语Flow: 一个 Process Group 级别的 NiFi 数据流, 已置于版本控制之下并保存到 Registry 中Bundle: 包含一个或多个可在 NiFi 或 MiNiFi 中运行的扩展的二进制工件Bucket: 一个容器, 用于存储和组织版本化项目 (Bucket 可以包含多个 Flow 和 Bundle)Policy: 定义用户或组执行给定操作的能力bucket表表信息列名含义IDbucket 标识符
2021-08-24 16:04:58
500
翻译 NiFi Registry入门
Apache NiFi Registry 入门本指南适用于谁？本指南是为具有 NiFi 基本经验但对 NiFi Registry 不太熟悉的用户编写的。本指南并非详尽的说明手册或参考指南。该NiFi注册用户指南和NiFi用户指南提供有关使用注册表，并与NiFi它集成了大量的信息。相比之下，本指南旨在为用户提供所需的信息，以了解如何配置 NiFi Registry、连接 NiFi 并开始使用版本化的 NiFi 数据流。本指南中使用的术语为了谈论 NiFi Registry，有几个关键术语读者应该熟悉：
2021-08-17 14:50:57
1016
原创 NiFi 1.14.0单机版安装
NiFi 1.14.0单机版安装首先下载安装包把安装包上传到 Linux 服务器, 并解压tar -zxvf nifi-1.14.0-bin.tar.gz3. 修改配置文件 /nifi-1.14.0/conf/nifi.properties4. 执行命令, 设置用户名和密码 ( nifi 1.14.0 默认使用HTTPS协议 )/nifi-1.14.0/bin/nifi.sh set-single-user-credentials 使用刚刚设置的用户名, 密码登陆即可
2021-08-11 18:49:50
1289
原创 NiFi Connection优先级介绍
NiFi Connection优先级介绍FirstInFirstOutPrioritizer最先到达连接的那个 FlowFile 将首先被处理。NewestFlowFileFirstPrioritizer数据流中最新的那个 FlowFile 将首先被处理。例如: 依次向数据流中添加五个FlowFile : (1), (2), (3), (4), (5), 数据流中最新的 FlowFile 是 (5)。处理顺序为: (5), (4), (3), (2), (1)OldestFlowFileF
2021-08-11 18:02:40
363
原创 NiFi Groovy脚本, XML转JSON
NiFi Groovy脚本, XML转JSON使用 ExecuteScript Processor修改属性如下Module Dircetory: Groovy 脚本依赖的 jar 包存放目录Groovy 脚本import org.apache.commons.io.IOUtilsimport java.nio.charset.StandardCharsetsimport com.alibaba.fastjson.JSONObjectimport org.jdom2.Do
2021-08-11 13:07:59
777
原创 NiFi HTTPS协议下使用REST API
NiFi HTTPS协议下使用REST APINiFi 配置了HTTPS后, 无法直接使用REST API这时可以通过 REST API 中的获得token, 再通过token使用REST API需要一个软件 Postman 下载地址下载后可以不用注册直接使用首先, 通过用户名/密码 获得NiFi 的token再通过token, 使用REST API这样就拿到JSON了...
2021-08-06 18:12:49
1004
原创 NiFi Prometheus监控指标介绍
NiFi Prometheus监控指标介绍Nifi_amount_bytes_read:Nifi_amount_bytes_written:Processor从磁盘读取和写入到磁盘的FlowFile内容的总大小。nifi_amount_bytes_received : Remote Process Group接收的字节数nifi_amount_bytes_sent : Remote Process Group发送的字节数nifi_amount_flowfiles_recei
2021-08-02 14:45:46
1300
原创 Java实现FreeIpa(LDAP)增删改查
Java实现FreeIpa(LDAP)增删改查一、首先需要初始化一个LdapContext对象public static LdapContext context;public static LdapContext getConn() { String username = Constant.LDAP_USERNAME;// Constant 从配置文件中获取数据 String password = Constant.LDAP_PASSWORD; Stri
2021-07-26 18:47:48
742
1
原创 Java实现阿里云企业邮箱发送邮件
Java实现阿里云企业邮箱发送邮件先了解一下基本的配置元素概念:POP3:POP3是Post Office Protocol3 的简称, 即邮局协议的第3个版本, 它规定怎样将个人计算机连接到 Internet 的邮件服务器和下载电子邮件的保密协议。它是因特网电子邮件的第一个离线协议标准, POP3允许用户从服务器上把邮件存储到本地主机(自己的计算机上), 同时删除保存在邮件服务器上的邮件, 而POP3服务器则是遵循POP3协议的接收邮件服务器, 用来接收电子邮件的。SMTP:SMTP的全称
2021-07-26 17:56:24
3652
原创 NiFi Prometheus监控配置
NiFi Prometheus监控Prometheus简介Prometheus是一套开源的系统监控和报警框架, 灵感源自Google的Borgmon监控系统。2012年, SoundCloud的Google前成员创造了Prometheus, 并作为社区开源项目进行开发。2015年, 该项目正式发布。2016年, Prometheus加入云原生计算基金会, 成为受欢迎仅次于Kubernetes的项目。Prometheus具有以下特性:多维的数据模型(基于时间序列的Key, Value键值对)灵活的
2021-07-26 12:51:10
967
原创 NiFi Reporting Tasks介绍
Reporting Tasks到目前为止, 我们很少提到如何向外界传达 NiFi 及其组件的性能。系统是否能够跟上传入的数据速率? 系统还能承受多少? 在一天的高峰时间处理了多少数据, 而在一天最不忙的事件处理了多少数据?为了回答这些问题以及更多的问题, NiFi 通过 ReportingTask接口提供了向外部服务报告状态, 统计信息, 度量和监视信息的功能。ReportingTasks被赋予对大量信息的访问权限, 以确定系统是如何执行的。Developing a Reporting Task与
2021-07-16 17:24:37
482
原创 NiFi AbstractProcessor API介绍
AbstractProcessor API由于绝大多数 Processor将通过 extending the AbstractProcessor来创建, 因此我们将在本节中研究AbstractProcessor。AbstractProcessor 提供了Processor开发人员感兴趣的几个方法。Processor Initialization : Processor初始化在创建Processor时, 在调用任何其他方法之前, 将调用AbstractProcessor的init方法。该方法接收一个参
2021-07-16 16:54:17
391
原创 NiFi Processor Supporting Api
Processor APIProcessor 是 NiFi 中使用最广泛的组件。Processor 是 NiFi 是唯一被给予创建, 删除, 修改, 或检查 FlowFile(数据和属性)权限的组件。所有的 Processor 都是使用 Java 的 ServiceLoader 机制加载和实例化的。这意味着所有的处理器必须遵守以下规则:Processor必须有一个默认构造函数Processor的JAR文件必须在META-INF/service目录中包含一个名为org.apache.nifi.pr
2021-07-16 14:09:30
190
原创 NiFi 常用术语
术语DataFlow Manager: DataFlowManager(DFM)是NiFi的用户, 具有添加, 删除和修改NiFi数据流组件的权限。FlowFile: FlowFile代表NiFi中的单个数据。FlowFile由两个组件组成: FlowFile属性(Attribute)和FlowFile内容(Content)。内容是FlowFile表示的数据, 属性是提供有关数据的信息或上下文特征, 它们由键值对组成。所有FlowFiles都具有以下标准属性:uuid: 一个通用唯一标识符, 用于区
2021-07-05 18:38:33
302
原创 NiFi 数据来源
数据来源NiFi 对其摄取的每个数据保持非常精细的细节。当数据通过系统处理并被转换, 路由, 拆分, 聚合和分发到其他端点时, 这些信息都存储在 NiFi 的 Provenance Repository中。为了搜索和查看此信息, 我们可以从全局菜单中选择数据源(Data Provenance)。会弹出一个表格, 列出我们搜索过的 Provenance事件:此表列出了最近发生的1000个Provenance事件(尽管事件发生后可能需要几秒钟才能处理信息)。在此对话框中, 有一个Search按钮, 允许用
2021-07-05 17:52:06
708
原创 NiFi 监控简介
NiFi 监控当数据在 NiFi 中流经您的数据流处理流程时, 了解您的系统执行情况以评估您是否需要更多资源以评估当前资源的运行状况非常重要。NiFi 提供了一些监控系统的机制。状态栏在组件工具栏的 NiFi 屏幕顶部附近有一个条形, 称为状态栏。它包含一些关于 NiFi 当前健康状况的重要统计数据。活动线程的数量可以指示 NiFi 当前的工作状态,排队统计数据表示当前在整个流程中排队的 FlowFile数量以及这些FlowFiles的总大小如果 NiFi 实例位于集群中, 我们还会在此处
2021-07-05 17:15:37
700
原创 NiFi 模板(Template)简介
模板使用当我们使用处理器(Processor) 在 NiFi 中设计复杂的数据流处理流程时, 我们经常会发现, 我们将相同的处理器序列串在一起以执行某些任务。这种情况下, NiFi 提供了模板的概念。模板可以被认为是可重用的子流。要创建模板, 请按照下列步骤操作:选择要包含在模板中的组件。我们可以通过单机第一个组件, 然后按住 Shift 键同时选择其他组件(以包括这些组件之间的连接), 或者在画布上拖动所需组件周围的框时按住 Shift 键选择多个组件。从操作面板中选择图标。提供模板的名称和描述
2021-07-05 16:50:58
718
原创 NiFi FlowFile属性
Flow File属性每个 FlowFile 都拥有多个属性, 这些属性将在 FlowFile 的声明周期中发生变化。FlowFile 的概念非常强大, 并提供三个主要优点:首先, 它允许用户在流中做出路由决策, 以便满足某些条件的 FlowFiles 可以与其他 FlowFiles 进行不同的处理。这可以由RouteOnAttribute和其他类似的处理器完成。其次, 利用属性配置处理器: 处理器的配置依赖于数据本身。例如, PutFile 能够使用 Attributes 来知道每个 FlowFi
2021-07-05 16:29:19
1478
原创 NiFi 常用处理器(Processor)介绍
常用处理器(Processer)介绍处理器的种类为了创建有效的数据流处理流程, 用户必须了解可用的处理器类型。NiFi 包含许多不同的处理器, 这些处理器提供了可从众多不同系统中提取数据, 路由, 转换, 处理, 拆分和聚合数据以及将数据分发到多个系统的功能。下面将重点介绍一些最常用的处理器, 按功能对它们进行分类。数据转换CompressContent：压缩或解压ConvertCharacterSet：将用于编码内容的字符集从一个字符集转换为另一个字符集EncryptContent：加密或
2021-07-05 15:09:28
2001
原创 NiFi 简单使用
应用一. 添加和配置第一个处理器: GetFile1. 添加处理器2. 设置处理器名称一般来说, 当有多个相同类型的处理器时, 需要修改它的名称, 保证可读性及名称不重复3. 设置 Properties 选项Nifi处理器官方文档: http://nifi.apache.org/docs.htmlGetFile属性说明NameDefault ValueAllowable ValuesDescriptionInput Directory（输入目录）要从中提取文
2021-07-05 14:14:18
2073
原创 NiFi 其他组件
NiFi 其他组件数据流输入点(Input Port)虽说是数据流输入点, 但是并不是整体数据流的起点。它是作为组与组之间的数据流连接的输入点。数据流输出点(Output Port)同理上面的输入点, 它是作为组与组之间的数据流连接的输出点。处理器组(Process Group)组相当于系统中的文件夹, 作用就是使数据流的各个部分看起来更工整, 思路更清洗, 不至于从头到尾一条线阅读。远程处理器组(Remote Process Group)添加其他 NiFi 服务器的组。聚合(Fu
2021-07-03 18:07:11
176
原创 NiFi 处理器(Processor)简介
NiFi 处理器一. 查看处理器选择处理器组件, 拖入组件工作区, NiFi 官方提供了283个处理器整合了大部分常用技术二. 常用处理器ExecuteScript : 执行脚本处理器, 支持: clojure, ecmascript, groovy, lua, python, rubyQueryDatabaseTable : 数据库查询处理器, 支持: mysqlConvertAvroToJSON : avro 数据格式转换为 jsonSplitJson : 将JSON文件拆分为
2021-07-02 18:37:39
1223
2
原创 NiFi 下载, 安装(单机), 启动
NiFi 下载, 安装(单机), 启动常用术语FlowFile: 每条"用户数据" (用户带进 NiFi 的需要进行处理和分发的数据) 称为FlowFile。FlowFile 由两部分组成: Attributes 和 Content。Content是用户数据本身。Attributes 是与用户数据关联的键值对。Processer: 处理器, 是 NiFi 核心组件, 负责创建, 发送, 接收, 转换, 路由, 拆分, 合并和处理 FlowFiles。它是 NiFi 用户可用于构建其数据流的最重要
2021-07-02 17:29:54
1417
原创 NiFi 基本概念
NiFi概念NiFi是什么Apache NiFi 是一个易于使用, 功能强大且可靠的系统, 用于处理和分发数据。可以自动化管理系统间的数据流。它使用高度可配置的指示图来管理数据路由, 转换和系统中介逻辑, 支持从多种数据源动态拉取数据。NiFi 原来是 NSA(美国国家安全局) 的一个项目, 目前代码已经开源, 是 Apache基金会的顶级项目之一。...
2021-07-02 15:00:05
13681
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人