大数据之-Nifi-了解Nifi处理器_和Nifi的其他组件---大数据之Nifi工作笔记0003

已于 2023-02-15 13:07:17 修改
阅读量459 收藏
点赞数
分类专栏： 离&实时计算&大数据 文章标签： 大数据 nifi nifi大数据处理
于 2023-02-15 11:57:47 首次发布
本文为博主原创文章，未经博主 添柴程序猿 允许不得转载 违者追究法律责任。
本文链接：https://blog.csdn.net/lidew521/article/details/129038952
版权

然后我们来看nifi的处理器,可以看到左上角是用来添加处理器的,

拖过来就能添加

拖过来以后,会显示一个弹框,里面会显示各种处理器,有293个..常用的都够了

可以在右边搜索以后添加 

看一下常用的处理器

puthiveql:把数据写入到hive中去.

 

上面这3个是经常一块用的

这个publishkafka可以把数据直接推送到kafka topic中去

selecthiviesql:查询hive的数据

pu

了解本专栏 订阅专栏 解锁全文 超级会员免费看
添柴程序猿
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
大数据之---Nifi-处理器类别_详细了解各种处理器的含义用途---大数据之Nifi工作笔记0007
添柴程序猿的专栏
02-19 562
然后数据的获取可以看到有很多,这里说一下listHDFS其实就是读取一个HDFS目录下的所有的文件名,然后,再把这个包含文件名的FlowFile,流转到FetchHDFS处理器中去,然后,这个FetchHDFS处理器,就会获取每个文件的内容,然后把内容再封装成FlowFiles就可以了.必须做为别的处理器的,后续处理器来使用,别的处理器处理以后生成一个flowFile,而executeStreamCommand会根据这个FlowFile携带的参数,来进一步的进行,执行带参数的命令.
3、NIFI处理器介绍、FlowFlie常见属性、模板介绍和运行情况信息查看
最新发布
alanchanchn的专栏
05-10 4万+
NIFI除了提供能够将特定信息从FlowFile内容提取到属性中的处理器之外，NIFI还允许用户将自定义属性添加到每个FlowFile中的特定位置。UpdateAttribute就是专为此目的而设计。用户可以通过单击属性选项卡右上角的+按钮,在配置对话框中向处理器添加新属性。然后UI会提示用户输入属性的名称,然后输入值。对于此UpdateAttribute处理的每个FlowFile，都会添加用户自定义属性。Attribute的名称将与添加的属性的名称相同。属性的值也可以包含表达式语言。
NiFi 处理器(Processor)简介
小伙无限帅
07-02 1236
NiFi 处理器 一. 查看处理器 选择处理器组件, 拖入组件工作区, NiFi 官方提供了283个处理器整合了大部分常用技术 二. 常用处理器 ExecuteScript : 执行脚本处理器, 支持: clojure, ecmascript, groovy, lua, python, ruby QueryDatabaseTable : 数据库查询处理器, 支持: mysql ConvertAvroToJSON : avro 数据格式转换为 json SplitJson : 将JSON文件拆分为
Apache NIFI 常用处理器
传智燕青
08-22 1612
NiFi常用处理器 选择处理器组件 弹出窗口显示的就是所有处理器 ExecuteScript : 执行脚本处理器, 支持: clojure, ecmascript, groovy, lua, python, ruby QueryDatabaseTable : 数据库查询处理器, 支持: mysql ConvertAvroToJSON : avro 数据格式转换为 json SplitJs...
nifi探索之处理器简介
qinqinyijia的博客
09-07 1829
Abstract本文将主要介绍nifi中常用的processors（翻译https://nifi.apache.org/docs/nifi-docs/html/getting-started.html）
大数据之-Nifi-认识Nifi_Nifi的核心概念_Nifi核心架构_Nifi的性能_Nifi的关键特性---大数据之Nifi工作笔记0001
添柴程序猿的专栏
02-14 559
这里说一下这个FlowFile Repository这个存储了一些FlowFile的状态信息,这个ContentRepository存储了,FlowFile中的具体的文件内容.可以看到NIFI的核心架构,它是基于java写的,然后Flow Controller是流控制器可以看到上面已经解释了。可以看到Nifi的用处,用来处理数据的分发,是BS架构的,具有上面的一些特点.可以看到nifi解决的是dataflow的问题,解决的是数据流的问题。上面的NIFI的架构信息,可以看到每一块是干什么用的都有解释了.
大数据之---Nifi-FlowFile属性_各种处理器提供了_属性提取_路由_自定义属性_强大的属性表达式语言还可以判断---大数据之Nifi工作笔记0008
添柴程序猿的专栏
02-21 316
也可以引用我们自己定义的属性可以看到${'my attribute name'}就引用了我们自己定义的熟悉。另外还有表达式语言可以在在配置中,直接引用FlowFile中的值,比如${uuid}可以直接引用uuid。然后我们再来看nifi的属性,很强大了,不用编写代码,就可以实现PB级的数据流处理。然后看一下FlowFile的共同属性,都很好理解,自己看吧,然后主要是属性路由,可以根据属性路由到不同的处理器。非常厉害了.可以看到,属性的作用可以看看。然后Nifi提供了几种提取属性的方法。
大数据之-Nifi-应用场景2-2_设置putfile处理器自动创建目标文件夹_以及存在重复文件时自动覆盖---大数据之Nifi工作笔记0006
添柴程序猿的专栏
02-18 626
可以看到去目标文件夹看看,已经有这个文件了,说明没有目标文件夹创建的话,也是可以自动生成文件夹的,不会报错,为什么可以这样。然后再去target文件夹中看,可以看到,这个hello-world.txt的内容,已经覆盖原来那个。上一节我们留了两个问题,一个是,如果我们没有创建putfile要写入的目标文件夹,会报错吗?可以看到就可以选择false了,可以设置了,我们设置为false,然后应用。然后我们再去看,可以看到target文件夹,并没有创建,也没有写入文件成功。
大数据之-Nifi-Nifi的应用场景1_创建并配置getfile处理器---大数据之Nifi工作笔记0004
添柴程序猿的专栏
02-15 540
可以看到我们要读取/export/temp/source这个文件夹中的内容。这个关联关系就是,上面这个地方,automatically....这个地方。然后看一下属性这里我们只设置input directory就可以了。这里我们暂时,不用管,后面我们设置了其他处理器以后我们会关联上.这里我们只是设置这个input directory就可以了。这个加黑的是必须要选择的,非加黑的可以先不进行选择。这个设置以后我们点击apply,然后回来看到有叹号。这个提示是,指的这个处理器没有关联关系。
Apache Nifi 常用组件介绍
传智燕青
08-22 2254
NiFi介绍 Apache NiFi 是一个易于使用，功能强大且可靠的系统，用于处理和分发数据。可以自动化管理系统间的数据流。它支持高度可配置的指示图的数据路由、转换和系统中介逻辑，支持从多种数据源动态拉取数据。NiFi原来是NSA的一个项目，目前已经代码开源，是Apache基金会的顶级项目之一。 NiFi是基于Java的，使用Maven支持包的构建管理。 NiFi基于Web方式工作，后台在服务器...
大数据Nifi处理器
赵广陆
10-07 376
目录1 处理器介绍1.1 查看处理器1.2 常用处理器 - 整理2 配置处理器2.1 添加一个处理器2.2 配置处理器配置项说明2.3 配置处理器2.3.1 SETTING ( 设置 )2.3.2 SCHEDULING ( 任务调度 )2.3.3 PROPERTIES ( 属性 )2.3.4 COMMENTS ( 注释 ) 1 处理器介绍 1.1 查看处理器 1 选择处理器组件 2 弹出窗口显示的就是所有处理器 1.2 常用处理器 - 整理 ExecuteScript : 执行脚本处理器 支持: c
NiFi 常用处理器(Processor)介绍
小伙无限帅
07-05 2028
常用处理器(Processer)介绍 处理器的种类 为了创建有效的数据流处理流程, 用户必须了解可用的处理器类型。NiFi 包含许多不同的处理器, 这些处理器提供了可从众多不同系统中提取数据, 路由, 转换, 处理, 拆分和聚合数据以及将数据分发到多个系统的功能。 下面将重点介绍一些最常用的处理器, 按功能对它们进行分类。 数据转换 CompressContent：压缩或解压 ConvertCharacterSet：将用于编码内容的字符集从一个字符集转换为另一个字符集 EncryptContent：加密或
nifi之处理器的类别（各个处理器的作用）
guijianchouxyz的博客
09-15 517
nifi之处理器的类别 对于处理器的类别的认识也是相对来说比较重要的，知己知彼放开百战不殆 处理器的类别 数据转换 Data Transformation(数据转换) CompressContent：压缩或者解压 ConvertCharacterSet：将用于编码内容的字符集从一个字符集转换成另一个字符集 EncryptContent：负责加密和解密 ReplaceText：使用正则表达式对文本内容进行更改 TransormXML：应用XSLT转换XML内容 JoltTransformJS
Apache Nifi
功夫熊猫
04-21 956
2.2.4 NiFi创建数据流在创建NiFi数据流之前，先回顾下上一章节提到的两个重要术语：FlowFile和处理器单元，这两个是数据流的重要概念，对于我们理解并创建数据流有很大的帮助。FlowFile：数据流中的任何的用户数据都以FlowFile的形式存在。FlowFile包括两部分：正文和属性；其中正文指的是数据本身的内容，而属性则是对数据进行描述的键值对。处理器单元：处理器单元是NiFi数据...
大数据NiFi（六）：NiFi Processors（处理器）
Lansonli（蓝深李）的博客
01-03 719
EvaluateJsonPath：用户提供JSONPath表达式，这个表达式将对Json内容操作，将表达式计算的结果值替换FlowFile内容或将结果值提取到用户自己命名的Attribute中。PutSQL：将FlowFile的内容作为SQL语句（INSERT,UPDATE或DELETE）执行,该处理器将执行sql语句,同时支持参数化的SQL语句。ExtractText：用户提供一个或多个正则表达式,然后根据FlowFile的文本内容对其进行评估,然后将结果值提取到用户自己命名的Attribute中。
NiFi 学习 — 统计数
草原孤狼的专栏
10-23 1117
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受. 利用nifi统计单词出现的次数 从工具栏中拖入一个Processor，在弹出面板中搜索GenerateFlowFile，然后确认，设置GenerateFlowFile 的属性如下： 注意看属性的设置, 尤其要输入custom text的内容: 本例中输入的text内容是： With each releas...
nifi使用过程-常见问题-以及入门总结---大数据之Nifi工作笔记0012
添柴程序猿的专栏
02-17 380
就没有下一个的,怎么弄呢?可以看到点击开处理器的配置,然后可以看到右上角那个success,和fail都勾上就是说。然后看一下之前说的nifi的过程中的一些问题,首先,对于处理器,都是一个连着一个的,但是有的处理器处理完以后。可以看到在设置里,这个scheduling,这个run schedule这里,如果默认是0的话,那么。重复的是因为定时器设置的原因,每隔一段时间查询一次就重复了。这个处理器自己连接自己,数据流就不往下走了,就不报错了。就会不停的执行,就会有重复数据,可以设置一个大的值。
大数据Nifi常用组件
赵广陆
10-07 1013
目录1 常用组件1.1 处理器( processor )1.2 数据流传入点（input-port）1.3 数据流输出点（output-port）1.4 组(process-group)1.5 远程组(remote process-group)1.6 聚合(funnel)1.7 模版(template)1.8 便签（label）2 导航(Navigate)3 操作区(Operate)3.1 配置(Configuration)3.2 启用(enable)3.3 禁用(disable)3.4 开始(start
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

添柴程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值