nifi将json格式数据进行分片操作（3）

最新推荐文章于 2024-04-08 09:38:18 发布
最新推荐文章于 2024-04-08 09:38:18 发布
阅读量1.6k 收藏 2
点赞数 1
分类专栏： nifi操作 文章标签： json 数据库 sqlite nifi centos
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/guijianchouxyz/article/details/120336399
版权

nifi将json格式数据进行分片操作

上一篇我们对从数据库里面提取出来的数据转化成了json格式，但是json不是一行一行展示的，这篇我们就要将他们进行一行一行的显示，大家可以想想，如果一行一行显示的话，我们是不是就可以一行一行的插入到数据库了呢，对的，我们就是要实现这种效果的

更改SplitJson处理器的name

在这里插入图片描述
在这里插入图片描述

配置SplitJson处理器的属性

【双击处理器打开属性配置】
在这里插入图片描述

创建下游EvaluateJsonPath t处理器

这个处理器的作用就是将接收到的数据可以经过取值的方法，巧妙的变成一个sql语句，那怎么生成取值呢，就需要EvaluateJsonPath 处理器，把值进行定义一下，下一篇我们再详细的介绍

在这里插入图片描述

连接两个处理器

在这里插入图片描述

设置SplitJson处理器的自连接方式

我们上面不是设置了只接收分片的吗，那我们失败的，或者是原来的怎么办，让他自连接进行接收

【双击处理器进行属性配置】

在这里插入图片描述

开启看看转化的效果

在这里插入图片描述
在这里插入图片描述

查看转化后的数据

在这里插入图片描述
每条的样式
在这里插入图片描述

结束语

接下来我们就需要将这些数据进行拼接，组成sql语句，然后再重新写入到数据中

刘帅0952
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
NIFI大数据进阶_Json内容转换为Hive支持的文本格式_操作方法说明_01_EvaluteJsonPath处理器---大数据之Nifi工作笔记0031
添柴程序猿的专栏
04-11 482
首先看一下用到的处理器,可以看到这里我们用到了evaluateJsonPath处理器,这个处理器用来提取json中的熟悉,然后ReplaceText处理器用来替换掉FlowFile中的属性的内容。首先看一下这个EvaluateJsonPath处理器,他可以使用JsonPath表达式来提取json数据中的数据.,并且把数据写入到FlowFile的属性中去。提取出来,用 /t 隔开对吧,然后我们这个evaluation mode这里的模式,我们用line by line 的模式,一行一行。
NIFI实现JSON转SQL并插入到数据库表中
浩瀚蓝天dep的博客
09-04 1366
说明：博主的NIFI是使用docker安装的，容器的数据全部挂载到了宿主机中，NIFI的HOME默认是在/opt/nifi/nifi-current，挂载到宿主机的路径为：/root/data/nifi/nifi-current。这里跳过测试，如果需要测试自己的配置是否正确的，可以自行将处理器和LogAttribute处理器进行连接进行测试，以下是博主自己的测试结果，做个参考，最后面会打印生成的SQL语句。再次双击处理器，配置Statement Type，选择INSERT，代表生成的是INSERT语句。
Apache NIFI SplitJson
酷酷的诚的博客
03-12 5602
描述： 该处理器使用JsonPath表达式指定需要的数组元素，将JSON数组分割为多个单独的流文件。每个生成的流文件都由指定数组的一个元素组成，并传输到关系“split”，原始文件传输到关系“original”。如果没有找到指定的JsonPath，或者没有对数组元素求值，则将原始文件路由到“failure”，不会生成任何文件。 该处理器需要使用人员掌握JsonPath表...
[杂谈]大型JSON数据切分(Java Jackson)
最新发布
alexgaoyihang的专栏
04-08 1149
最近遇到一个需求，期望将一个大型的json文件存储至Elasticsearch中，第一反应是期望将原始数据进行拆分，这样就可以在受限的内存空间中完成数据的导入。将大量数据切分为相同结果的多组小数据，从而可以进行并行处理；
大JSON分解为多个小JSON
MaseratiD的博客
06-18 1073
# coding:utf-8 import os import json #F:\JR_data\new_data with open(os.path.join('D:\\dataset', 'test.json'), 'r', encoding='utf-8') as f1: ll = [json.loads(line.strip()) for line in f1.readlines()] total = len(ll)//100 for i in range(total): .
nifi探索之SplitText
qinqinyijia的博客
09-08 2636
Abstract主要涉及到SplitText processor的设置，将一个text文件内容划分为多个flowfile。
oracle 删除分区_Nifi 管理数据库分区
weixin_35225039的博客
01-23 181
继续上文讲述，使用Nifi管理数据库分区。其实关键就是表的设计 ，oracle的语法，nifi的自动化。废话不多说了，就用一个需求作为结尾吧。GE_BI_T_CENTER_COMP_DETAIL 这是一张分区表。T_CENTER_COMP_DETAIL_P20200301 这是3月1号的分区。T_CENTER_COMP_DETAIL_P20200402 这是4月2号的分区。我们假设 这张表当前最小...
基于nifi将mysql数据导入clickhouse
03-04
基于nifi将mysql数据导入clickhouse。 给出了基于http与JDBC两种方式
7、NIFI综合应用场景-将mysql查询出的json数据转换成txt后存储至HDFS中
05-29
7、NIFI综合应用场景-将mysql查询出的json数据转换成txt后存储至HDFS中 网址：https://blog.csdn.net/chenwewi520feng/article/details/130620392 本文是在6、NIFI综合应用场景-离线同步Mysql数据到HDFS中基础上完成...
9、NIFI综合应用场景-通过NIFI配置kafka的数据同步
05-29
9、NIFI综合应用场景-通过NIFI配置kafka的数据同步 网址：https://blog.csdn.net/chenwewi520feng/article/details/130622776 本文旨在介绍nifi与kafka的交互过程，即生产数据到kafka中，然后通过nifi消费kafka中的...
NiFi实时离线数据采集工具
11-16
本文档主要介绍什么是NiFi、NiFi的架构、NiFi的特性、Nifi单点及集群部署、NiFi 处理器、NiFi集群页面的组件工具栏、NiFi集群页面的添加、配置处理器操作、数据来源和变量及表达式、NiFi案例应用，帮助你快速上手...
Nifi模板-PostGreSqlToMySql数据分页实时采集-带分页.zip
05-06
使用大数据处理工具NIFI,进行数据从Postgresql中导入到MySql中,实现数据的同步处理,处理的时候,是带有分页的,因为作者正在做相关的项目,而,用nifi同步数据好说,如何,进行数据的分页同步不好弄,这里,主要是,采用...
Apache NIFI SplitAvro
酷酷的诚的博客
02-15 801
描述： 该处理器根据配置将二进制编码的Avro数据文件分割成更小的文件。输出策略决定split后的文件是Avro数据文件，还是只保留Avro记录(在FlowFile属性中包含元数据信息 )。输出总是二进制编码的。 属性配置： 在下面的列表中，必需属性的名称以粗体显示。任何其他属性(不是粗体)都被认为是可选的，并且指出属性默认值（如果有默认值），以及属性是否支持表达式语...
NIFI大数据进阶_Json内容转换为Hive支持的文本格式_实际操作_02---大数据之Nifi工作笔记0032
添柴程序猿的专栏
04-11 298
可以看到我们让他失败的时候failure和unmatched的时候数据都,连接到它自身,不往下流转就可以了。内容可以看到,拿到对应的${id} 等数据以后,我们让他们之间的分割,改成 tab分割,这个就改变了。然后我们设置,当数据匹配的时候,也就是,对应的${id}等都拿到的时候,我们matched的时候,我们看一下,可以看到splitjson,已经把array的json数据,都已经分割成了。这里配置的时候,我们让replacement value这里,我们让他的。
Apache NIFI AttributesToJSON
酷酷的诚的博客
04-10 2371
描述： 该处理器将输入流文件属性转成JSON表示形式。生成的JSON可以被写入一个名为“JSONAttributes”的新属性，也可以作为内容写入到流文件中。 属性配置： 在下面的列表中，必需属性的名称以粗体显示。任何其他属性(不是粗体)都被认为是可选的，并且指出属性默认值（如果有默认值），以及属性是否支持表达式语言。 属性名称 默认值...
《数据同步-NIFI系列》NIFI同步API接口数据
https://blog.datasource.space
08-22 2244
​ 通过NIFI同步工具，从API接口中获取指定数据，并同步到MySQL数据库。
VBA解析JSON数据（1）-- Split函数
热门推荐
神奇的BI
02-16 1万+
什么是JSON? JSON(JavaScript Object Notation) 是一种及其轻量级的数据交换格式，它是 ECMAScript (欧洲计算机协会制定的JavaScript规范)的一个子集，它使用完全独立于任何编程语言的文本格式来表示数据。 由于JSON天然具备了简洁和清晰的层次结构，易于机器解析和生成，从2005年前后开始JSON成为主流的网络数据传输格式。进行网页数据抓取的时候，...
json数据传输压缩以及数据切片分割分块传输多种实现方法，大数据量情况下zlib压缩以及bytes指定长度分割
代码讲故事
09-19 1226
json数据传输压缩以及数据切片分割分块传输多种实现方法，大数据量情况下zlib压缩以及bytes指定长度分割。
Apache Nifi
功夫熊猫
04-22 658
2.3.4 属性提取类处理器单元EvaluateJsonPathEvaluateJsonPath处理器单元根据用户定义的JSONpath表达式对FlowFile的JSON内容进行解析，将这些表达式所解析出来的内容替换FlowFile的内容或者将其更新到FlowFile的属性中，以便于后续的单元处理器的引用。上面的图中表示Processor将输入内容为JSON格式的FlowFile例如{“name”...
nifi增量同步Oracle数据
05-13
NiFi是一个流数据处理工具，可以实现数据的自动化流转，包括增量同步Oracle数据。下面简单介绍一下如何使用NiFi实现Oracle数据的增量同步： 1. 搭建NiFi环境：首先需要搭建NiFi的环境，可以通过官网下载NiFi并进行安装。 2. 配置Oracle数据源：在NiFi中创建一个数据源连接池，连接到Oracle数据库，并配置相关参数，如数据库名称、用户名、密码等。 3. 配置增量同步任务：使用NiFi提供的Processors来实现增量同步任务，可以使用JDBC Lookup和UpdateAttribute Processors来实现。首先使用JDBC Lookup Processor查询出需要同步的增量数据，然后使用UpdateAttribute Processor来标记这些数据已经同步过，防止重复同步。 4. 配置目标数据源：同步数据需要将数据写入到目标数据源中，可以选择使用NiFi提供的其他Processors，如PutDatabaseRecord或PutSQL等。 5. 部署并运行任务：完成以上配置后，将任务部署并运行，即可实现Oracle数据的增量同步。 需要注意的是，NiFi可以通过配置数据源连接池、Processors和Controllers等来实现复杂的数据流处理任务，可以根据具体的需求进行配置和调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

刘帅0952

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值