Apache NIFI SplitJson

最新推荐文章于 2024-06-24 13:10:37 发布
最新推荐文章于 2024-06-24 13:10:37 发布
阅读量5.6k 收藏 6
点赞数 1
分类专栏： NIFI-Processors 文章标签： Apache NIFI NIFI
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_36048246/article/details/88417548
版权
Apache NIFI的SplitJson处理器通过JsonPath表达式分割JSON数组，生成单独的流文件。当找不到指定JsonPath或无法评估数组元素时，原始文件会路由到'failure'。处理器适用于数据清洗和分割json数组，例如从多层次结构json中提取特定字段。
摘要由CSDN通过智能技术生成

SplitJson

编辑人(全网同名)：酷酷的诚 邮箱：zhangchengk@foxmail.com

#描述

该处理器使用JsonPath表达式指定需要的数组元素，将JSON数组分割为多个单独的流文件。每个生成的流文件都由指定数组的一个元素组成，并传输到关系“split”，原始文件传输到关系“original”。如果没有找到指定的JsonPath，或者没有对数组元素求值，则将原始文件路由到“failure”，不会生成任何文件。

该处理器需要使用人员掌握JsonPath表达式语言。

#属性配置

在下面的列表中，必需属性的名称以粗体显示。任何其他属性(不是粗体)都被认为是可选的，并且指出属性默认值（如果有默认值），以及属性是否支持表达式语言。

属性名称 默认值 可选值 描述
JsonPath Expression     一个JsonPath表达式，它指定用以分割的数组元素。
Null Value Rep
最低0.47元/天 解锁文章
酷酷的诚(公众号:Panda诚)
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
Nifi 常用Processor
Tine Aine
01-29 1100
ExecuteScript : 执行脚本处理器, 支持: clojure, ecmascript, groovy, lua, python, ruby QueryDatabaseTable : 数据库查询处理器, 支持: mysql ConvertAvroToJSON : avro 数据格式转换为 json SplitJson : 将JSON文件拆分为多个单独的FlowFiles, 用于由JsonPath表达式指定的数组元素。 EvaluateJsonPath : 根据FlowFile的内容评估一
nifi将json格式数据进行分片操作（3）
guijianchouxyz的博客
09-16 1675
nifi将json格式数据进行分片操作 上一篇我们对从数据库里面提取出来的数据转化成了json格式，但是json不是一行一行展示的，这篇我们就要将他们进行一行一行的显示，大家可以想想，如果一行一行显示的话，我们是不是就可以一行一行的插入到数据库了呢，对的，我们就是要实现这种效果的 更改SplitJson处理器的name 配置SplitJson处理器的属性 【双击处理器打开属性配置】 创建下游ExtractText处理器 这个处理器的作用就是将接收到的数据可以经过取值的方法，巧妙的变成一个sql语
实时ETL工具-Apache NiFi介绍和教程
最新发布
JangBingYang的博客
06-24 607
FlowFile 是 NiFi 中的基本数据单元，包含实际的数据内容和元数据。每个FlowFile 由内容和属性两部分组成。
nifi探索之SplitText
qinqinyijia的博客
09-08 2683
Abstract主要涉及到SplitText processor的设置，将一个text文件内容划分为多个flowfile。
NIFI实现JSON转SQL并插入到数据库表中
浩瀚蓝天dep的博客
09-04 1547
说明：博主的NIFI是使用docker安装的，容器的数据全部挂载到了宿主机中，NIFI的HOME默认是在/opt/nifi/nifi-current，挂载到宿主机的路径为：/root/data/nifi/nifi-current。这里跳过测试，如果需要测试自己的配置是否正确的，可以自行将处理器和LogAttribute处理器进行连接进行测试，以下是博主自己的测试结果，做个参考，最后面会打印生成的SQL语句。再次双击处理器，配置Statement Type，选择INSERT，代表生成的是INSERT语句。
VBA解析JSON数据（1）-- Split函数
热门推荐
神奇的BI
02-16 1万+
什么是JSON? JSON(JavaScript Object Notation) 是一种及其轻量级的数据交换格式，它是 ECMAScript (欧洲计算机协会制定的JavaScript规范)的一个子集，它使用完全独立于任何编程语言的文本格式来表示数据。 由于JSON天然具备了简洁和清晰的层次结构，易于机器解析和生成，从2005年前后开始JSON成为主流的网络数据传输格式。进行网页数据抓取的时候，...
apache nifi 的入门使用
付哥的技术课堂
02-08 1776
整体文件竟然1.5G左右。现在已经下载下来了。基本上视频教程大概两个小时左右。国内的使用比较少。 dataflow 数据流 不同系统之间的数据流通 Nifi 是用来处理数据集成场景的数据分发，BS结构的图形化。 1、高可用 2、高性能高并发 3、错误纠察 4、对于现实业务的变更可以快速响应 5、对于不同系统之间的数据格式可以进行兼容，兼容各种数据格式 6、安全性比较高 7、可以方便的在测试和生产环境中进行迁移。 这就是nifi的核心概念。FBP 流式编程 F...
Apache NiFi 开发 处理器使用说明
格赚
12-02 1125
NIFI的使用： 注意：FlowFile由【属性】和【内容】组成，在解析的过程中这个概念非常重要，因为有些组件操作的是属性，有些组件操作的是内容，在配置组件时Destination配置项的选择很重要，flowfile-content将解析结果放在数据流的内容中替换了原有的内容，flowfile-attribute将解析结果添加到flowfile的属性中，原本的内容不变。根据后续操作的需要，选择处...
Apache NiFi 典型案例
qq_29454203的博客
05-27 2440
NIFI典型案例 课程目标 1、离线同步Mysql数据到DFS 2、Json内容转换为Hive支持的文本格式 3、实时同步Mysql数据到Hive 4、Kafka的使用 1.离线同步Mysql数据到hdfs 大数据数据仓库系统中，经常需要进行数据同步操作，可以使用nifi来进行灵活的全流程操作。 准备工作： 启动Mysql服务(5.7版本)，在Mysql中运行\资料\mysql\nifi_test.sql中的SQL语句。 启动Hadoop集群(与NiFi集群在同一个可访问的局域网网段) 1.1处理器流程
Apache NiFi处理器的类别介绍
weixin_59295776的博客
07-28 185
NiFi包含许多不同的处理器。这些处理器提供了可从众多不同系统中提取数据、路由、转换、处理、拆分和聚合数据以及将数据分发到多个系统的功能。介绍一些最常用的处理器,按功能对它们进行分类。7、数据出口/发送数据。
Apache Nifi
功夫熊猫
05-06 882
2.3.8切分和聚合类处理器单元SplitTextSplitText处理器单元可以将一个文本内容的FlowFile切分成你想要数量的FlowFile。上面的图中表示Processor将输入的FlowFile的内容切分成多个FlowFile，每个FlowFile的内容都来自于FlowFile中的一行内容。SplitJsonSplitJson处理器单元可以将一个JSON对象根据它的结构拆解成JSON内...
NiFi 学习 — kafka入库mysql
草原孤狼的专栏
11-01 2628
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受. 介绍下从kafka中获取数据，然后放入到 mysql 的操作！ 目录 目标 一、准备工作 1.kafka集群 2.zookeeper集群 3.数据表 4. 造数程序 5.发送程序 二、NIFI UI配置 1.kafka的处理器 2.EvaluateJsonPath处理器配置 3.Spl...
JSON获取数组——读完你就读懂了JSON
至浊至愚
10-31 6746
JSON获取数组没有什么好说的，java里面直接使用json的JSONArray类即可：JSONArray strArray = mjson.getJSONArray("Array");但我们有时候获取的json结构往往不是这么简单的，例如下面： {“a”:1,”b”:2,”c”:{“d”:3,”e”:4,”f”:[{“g”:5,”h”:6},{“g”:7,”h”:8}]}} 解析后是这样（注意
etl工具nifi使用系列（二）：简单数据处理processor的使用
quguang65265的博客
12-02 1万+
etl工具nifi使用系列（一）：nifi介绍及基本概念 etl工具nifi使用系列（二）：简单数据处理processor的使用 etl工具nifi使用系列（三）：关于nifi Expression Language 表达式 etl工具nifi使用系列（四）：打印日志调试 etl工具nifi使用系列（五）：与外部交互（HDFS、mysql、kafka） etl工具nifi使用系列
NiFi学习笔记
caijigskg的博客
10-17 1489
FlowFile Repository的实现是可插拔的(多种选择，可配置，甚至可以自己实现)，默认实现是使用Write-Ahead Log技术(WAL的核心思想是:在数据写入库之前，先写入到日志，再将日志记录变更到存储器中)写到指定磁盘目录。这些问题出现的相应的解决方案已经被广泛的研究和讨论，其中企业集成eip就是一个全面且易于使用的方案。在每个位置内的事件数据都是被索引并可搜索的。支持从多种数据源动态的拉取数据，并基于WEB图形界面，通过拖拽、连接、配置完成基于流程的编程，实现数据采集、处理等功能。
nifi探索之处理器简介(2)
qinqinyijia的博客
09-12 1767
Abstract：该博客是之前博客的续篇，继续介绍一些处理器的功能
Apache NIFI RouteOnContent
酷酷的诚的博客
03-22 1827
描述： 该处理器使用正则表达式去匹配流文件的内容，并将流文件路由到正则表达式所匹配的relation。在用户自定义的属性上添加正则表达式，其中属性的名称是关系的名称，值是一个正则表达式，用于匹配流文件内容。用户定义的属性支持属性表达式语言，但是表达式计算的结果被解释为文字值，而不是正则表达式。 属性配置： 在下面的列表中，必需属性的名称以粗体显示。任何其他属性(不是粗...
apache nifi1.22
10-30
Apache NiFi 1.22是一个开源的数据流编排工具，它提供了强大的数据流管理和自动化功能。 首先，Apache NiFi 1.22具有强大的数据流管理功能。它可以连接多种数据源和目标，并支持复杂的数据转换和处理操作。用户可以通过图形界面直观地设计数据流，并将数据从一个地方传输到另一个地方。此外，NiFi还提供了丰富的处理器插件，可以处理不同类型的数据，如文本、图像、音频和视频等。 其次，Apache NiFi 1.22还具有自动化功能。它提供了可编程的数据流控制，可以自动触发和处理数据流。用户可以设置条件和规则，以便在满足特定条件时执行特定操作。这使得数据流的处理和管理过程更加智能和高效。 另外，Apache NiFi 1.22还具有可扩展性和安全性。它可以在集群环境中部署，以满足不同规模的数据处理需求。此外，NiFi提供了各种安全机制，包括身份验证、访问控制和数据加密等，以确保数据的机密性和完整性。 总的来说，Apache NiFi 1.22是一个功能强大、易于使用且具有丰富插件的数据流编排工具。它可以帮助用户简化数据流处理和管理任务，并提供了自动化功能和安全性保障。无论是个人用户还是企业用户，都可以通过使用NiFi来提升数据处理的效率和质量。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值