Nifi
野狼e族
忙是一种好事
展开
-
Nifi Processor | EvaluateJsonPath
解析json 中的属性值,并更新到flowfile 属性中。用法场景:1、从kafka 中读取flowfilecontent 中的json数据,传入EvaluateJsonPath2、B列是json 数据中的数据, A 列是需要设置到flowfile 的属性名。Return type 的选择:如果json 为单层字符串,则scalar或者auto-detect, 如果为多层或者值中存在列表或者对象类的值选择json注意:...原创 2020-06-13 21:22:21 · 1047 阅读 · 0 评论 -
Nifi Processor | PutHiveQL
执行HiveQL DDL / DML命令(例如,UPDATE,INSERT)。传入的FlowFile的内容应该是要执行的HiveQL命令。HiveQL命令可能会使用?逃避参数。在这种情况下,要使用的参数必须作为具有命名约定hiveql.args.N.type和hiveql.args.N.value的FlowFile属性存在,其中N是正整数。hiveql.args.N.type应该是一个表示JDBC Type的数字。FlowFile的内容预计为UTF-8格式。用法:场景 :生成Hive Sql...原创 2020-06-13 21:17:56 · 847 阅读 · 0 评论 -
Nifi Processor | PutS3Object
需求: 从kafka读取数据,根据内容路由再压缩后,put 到s3 中。流程图。1、使用Kakfa 读取数据2、在RouteTxt 中,根据要求过滤掉不需要的数据3、在CompressContent 中进行数据压缩后,流入下一个环节。这里配置使数据压缩为gzip 文件。4、使用MergeContent ,将数据每 128M合并为一个块数据。(注意:虽然MergeContent提供压缩,但是压缩后的文件无法提供给Spak 使用,所以使用CompressContent ...原创 2020-06-13 21:16:03 · 474 阅读 · 1 评论 -
Nifi Processor | RouteText 与 RouteOnContent
RouteText 根据一组用户定义的规则路由文本数据。传入的FlowFile中的每一行都与用户定义的Properties指定的值进行比较。将文本与这些用户定义的属性进行比较的机制由“匹配策略”定义。然后根据这些规则路由数据,分别路由文本的每一行RouteOnContent,将正则表达式应用于FlowFile的内容,并将FlowFile的副本路由到其正则表达式匹配的每个目标。正则表达式作为用户定义的属性添加,其中属性的名称是关系的名称,值是正则表达式以匹配Fl...原创 2020-06-13 21:13:37 · 887 阅读 · 0 评论 -
Nifi的主要优缺点
Nifi的主要优点有:A.可视化的UI界面,各个模块组件之间高度可配置,且每个流程都有监控,可以通过界面直观的看到各个数据处理模块之间的数据流转情况,分析出程序性能瓶颈。B.数据流可以在UI界面自由拖拽和拓展,各模块之间相互独立,互不影响。C.可以在处理耗时的地方创建多个处理模块并行执行,提升处理速度。类似于代码中加入了多线程,但相对于修改代码,界面配置操作十分简单。D.修改方便,...原创 2019-01-01 15:38:47 · 14041 阅读 · 0 评论 -
Processor | InvokeScriptedProcessor 使用
作用:可以自定义组件, 以下是模拟 LookupAttrbution 的功能.from org.apache.nifi.processor import Processorfrom org.apache.nifi.processor import Relationshipfrom org.apache.nifi.components import PropertyDescriptorf...原创 2019-01-01 15:42:28 · 648 阅读 · 1 评论