nifi之将上游的生成的sql语句写入到数据库中(六)

最新推荐文章于 2024-12-25 10:09:42 发布
最新推荐文章于 2024-12-25 10:09:42 发布
阅读量2.1k 收藏 3
点赞数 1
分类专栏： nifi操作 文章标签： sql centos nifi linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/guijianchouxyz/article/details/120340154
版权

nifi之将上游的生成的sql语句写入到数据库中

在上一篇中我们已经成功的将数据转换成了sql语句,那么这一篇我们会将sql语句写进数据库中

PutSQL：通过Flowfile中的内容对数据库进行更新(flowfile包含的是一些数据库DDM语句

更改处理器名称

在这里插入图片描述

在这里插入图片描述

配置putsql处理器的属性

新建一个连接池

在这里插入图片描述

在这里插入图片描述

配置连接池

基本上与从数据库里面取数据的配置方法一样
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
我的构想是这样的,数据基本上原理都一样,无论是mysql 还是sql server都是通过java驱动来进行读取和写入数据的,咱们这里是为了练习测试,所以小编决定再将数据写进同一个数据库中只不过不是同一个表

确保dest数据库中的表与我们取数据的表的字段格式是一样的

字段名称可以不一样,生成的sql语句里面的字段名称可以在上一篇自己配置
如果没有表,请创建一张测试表,和小编一样

在这里插入图片描述
在这里插入图片描述

开始配置

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

需要更改一下SpliteText处理器的属性配置

我们在上一篇文章中生成sql中,sql语句中我们需要插入的数据的表不对,我们需要改改.

在这里插入图片描述

在这里插入图片描述

创建自连接

因为到了这里就是一个结束了,不需要下游了,可以让他自连接了就

在这里插入图片描述

启动查看效果

可以看到我们的表中是空的
在这里插入图片描述
执行开始

在这里插入图片描述

出现报错

在这里插入图片描述
原因是我们忘了配置数据库账号密码了
在这里插入图片描述

重新开始

同理全部处理器停止
在这里插入图片描述
在这里插入图片描述

检查数据库

在这里插入图片描述
在这里插入图片描述

结束语

到这里,这个总体也就结束了,感谢大家的陪伴,下一步,小编在编写一下实时同步数据库的数据

NIFI从MySql中离线读取数据再导入到MySql中_03_来吧用NIFI实现_数据分页获取功能---大数据之Nifi工作笔记0038
添柴程序猿的专栏
04-20 1067
实际引用环境中,我们的一张mysql的表,可能有上千万的数据,那么,不可能,我们把sql查询语句写死,这样一次性如果获取所有数据,那么压力太大了,我们怎么弄呢?找了很久没有找到相关教程,自己做了测试,整理出来了.querydatabasetable处理器删除掉了,对,因为querydatabasetable,不支持分页,所以我们删除掉了,除了替换掉了,这两个处理器,其他的。内容分别是这3条sql对吧,可以看到这个处理器,已经根据我们的要求,给我们自动生成了分页的sql了,然后,我们再去把,这些sql,
大数据NiFi（二十）：实时同步MySQL数据到Hive
Lansonli（蓝深李）的博客
02-26 7283
连接关系中，我们这里只关注“insert”和“update”的数据，后期获取对应的属性将插入和更新的数据插入到Hive表中，对于“delete”的数据可以路由到其他关系中，例如需要将删除数据插入到另外的Hive表中，可以再设置个分支处理。登录mysql ,使用“mynifi”库，创建表“test2”。以上获取的tablename名称为“test2”，后面这个sql是要将数据插入到Hive中的，所以这里在Hive中也应该创建“test2”的表名称，或者将表名称写成固定表，后期在Hive中创建对应的表即可。
【NIFI】实现MySQL-＞ORACLE数据同步
weixin_43159039的博客
12-25 1082
实现MySQL->ORACLE数据同步。
NiFi Processors之PutSQL
邢为栋
05-05 3733
NiFi是一个数据处理和分发系统，其中很重要的一部分是处理器(Processors)。一个处理器组合系统间的数据路由、转换或调解。处理器可以访问给定FlowFile的属性及其内容流。处理器可以在给定的工作单元中对零个或多个FlowFile进行操作，并提交该工作或回滚。 本文介绍NiFi处理器之一 ：PutSQL。 描述 执行SQL UPDATE或INSERT命令。传入的FlowFile的内容应该是...
nifi探索之写入数据库
qinqinyijia的博客
09-06 5389
Abstract:本文章将展示如何将一个包含多条数据的文本文件保存到数据库中，每条数据对应数据库中的一条记录整体流程
nifi之将已经定义好的数据进行取值并拼装成sql语句(5)
guijianchouxyz的博客
09-16 986
nifi之将已经定义好的数据进行取值并拼装成sql语句 上一篇我们已经成功的将数据进行了自定义,方便交接给下游处理器进行使用,今天我们就用ReplaceText处理器来对数据进行拼接 对ReplaceText处理器命名 进行处理器的属性配置 准备我们需要的sql插入语句,应为我们后期还要对数据库进行写入,我们就的需要一个数据库的插入语句,每个人与每个表的字段都不一样,如果大家要用的话,还是建议大家先在数据库试下能不能正常的插入数据 我的sql语句如下: 因为小编的id是自增的还是主键,就不需要考虑
NIFI实现JSON转SQL并插入到数据库表中
浩瀚蓝天dep的博客
09-04 2100
说明：博主的NIFI是使用docker安装的，容器的数据全部挂载到了宿主机中，NIFI的HOME默认是在/opt/nifi/nifi-current，挂载到宿主机的路径为：/root/data/nifi/nifi-current。这里跳过测试，如果需要测试自己的配置是否正确的，可以自行将处理器和LogAttribute处理器进行连接进行测试，以下是博主自己的测试结果，做个参考，最后面会打印生成的SQL语句。再次双击处理器，配置Statement Type，选择INSERT，代表生成的是INSERT语句。
nifi连接mysql_【NIFI】 实现数据库到数据库之间数据同步
weixin_42131367的博客
01-19 830
数据同步界面如下：具体流程：1、使用ExecuteSQL连接mysql数据库，通过写sql查询所需要的数据2、nifi默认查出来的数据为Avro格式，所以需要ConvertAvroToJSON把Avro格式转化为json格式的数据3、使用ConvertJSONToSQL把json数据转化为sql语句4、使用PutSQL把数据存入数据库。5、同步的数据重复插入数据库，需要对数据进行更新操作，Spli...
NIFI跟数据库交互处理器中，ExecuteSQL处理器和PutSQL处理器区别
最新发布
03-26
- **典型场景**: 将上游处理后的数据写入数据库（如ETL最后一步）。 - **输出**: 不生成新数据，仅更新数据库状态。 --- ### 二、数据流向对比 | 处理器 | 输入要求 | 输出结果 | |------------|--------------...
Nifi从入门到精通（一）之 数据存储
qq_42209718的博客
07-28 1722
nifi接口连接和数据存储，数据库表的设计！
Nifi 常用Processor
Tine Aine
01-29 1329
ExecuteScript : 执行脚本处理器, 支持: clojure, ecmascript, groovy, lua, python, ruby QueryDatabaseTable : 数据库查询处理器, 支持: mysql ConvertAvroToJSON : avro 数据格式转换为 json SplitJson : 将JSON文件拆分为多个单独的FlowFiles, 用于由JsonPath表达式指定的数组元素。 EvaluateJsonPath : 根据FlowFile的内容评估一
带你体验Apache NIFI新建数据同步流程(NIFI入门)
酷酷的诚的博客
06-09 4944
初衷：对于一些新接触Apache NIFI的小伙伴来说，他们急于想体验NIFI，恨不得直接找到一篇文章，照着做就直接能够解决目前遇到的需求或者问题，回想当初的我，也是这个心态。其实这样的心态是不对的。好多加入NIFI学习群的新手同学都会有这个问题，一些基本的概念和知识点都没有掌握，然后提出了一堆很初级的问题，对于这些问题，我们可能已经回答了几十上百次，厌倦了，所以大家一般会说"你先去看文档吧！"。其实，对于一个新手，直接看文档，也是一脸懵。所以在这里，我带领新手的你，新建一个同步的流程，并尽可能在新建流程的
NIFI里你用过PutDatabaseRecord嘛？
酷酷的诚的博客
09-24 3098
点击上方蓝色“Panda诚”，选择“设为星标” 描述 PutDatabaseRecord处理器使用指定的RecordReader从传入的流文件中读取（可能是多个，说数组也成）记录。这些记录将转换为SQL语句，并作为一个批次执行。如果发生任何错误，则将流文件路由到failure或retry，如果执行成功，则将传入的流文件路由到success。处理器执行的SQL语句类型通过Statement Type属性指定，该属性接受一些硬编码的值，例如INSERT，UPDATE和DELETE，使用“Use stat
NIFI从PostGresql中离线读取数据再导入到MySql中_带有数据分页获取功能_不带分页不能用_NIFI资料太少了---大数据之Nifi工作笔记0039
添柴程序猿的专栏
04-25 480
然后再拖入一个splitjson处理器,把转换后的json数据,进行分割,如果是json数组的话会被分割成一条一条的。这里一定要注意的就是,这里,在postgresql中,写sql的时候要用,单引号,不要用双引号,用双引号执行报错。然后再去拖入一个replacetext处理器,用来把从json中提取的数据,替换到我们自己编写的sql语句中。可以看到执行处理器以后的数据,当然这里,可以看一下flowfile的,队列中的flowfile的属性.然后配置对应的url,驱动名称,驱动位置 ,数据库名称,密码。
【NIFI】实现ORACLE-＞ORACLE数据同步
weixin_43159039的博客
12-24 1711
nifikettle。
NiFi 读取Processor中的FlowFile
ouanui的专栏
02-23 1987
在Processor的onTrigger方法中，可以从ProcessSession参数中获取FlowFile中的内容，参考网上的一些写法，如 [code="java"]session.read(flowFile, new InputStreamCallback() { @Override public void process(final InputStream in) th...
NIFI从MySql中离线读取数据再导入到MySql中_无分页功能_02_转换数据_分割数据_提取JSON数据_替换拼接SQL_添加分页---大数据之Nifi工作笔记0037
添柴程序猿的专栏
04-20 374
select id,name,mobile,son_json from user_info_nifi limit 0,2 这里注意,我们漏下了email,没有取,所以后面,没有取出来email是正常的。修改它的配置,属性这里,这个JSON container options这里设置成array,就是我们把多条数据,转换成json数组,如果传过来的是多条数据的话.我们再去启动evaluateJsonPath处理器去看看,可以看到,这个时候,出来的两个flowfile,就已经根据,我们上面对。
Apache Nifi
功夫熊猫
05-06 620
2.3.7数据发送类处理器单元PutEmailPutEmail处理器单元主要功能是将FlowFile的内容以邮件的形式发送给配置的用户邮箱，也可以通过配置选择将FlowFile的内容以附件的方式发送出去。PutFilePutFile处理器主要功能是将FlowFile的内容以文件的形式写入本地磁盘。上面的图中表示Processor将接收到的FlowFile的内容写入到本地的磁盘文件中。(注意:1.5...
nifi putsql resolve cannot convert timestamp
池
01-06 604
使用Putsql,如果遇到时间类型的参数。提示： cannot convert start_time to timestamps putsql源码： // Backwards compatibility note: Format was unsupported for a timestamp field. if (valueFormat.equals("")) { if(LONG_PATTERN.matcher(parameterValue).matches()){ lTimest
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

刘帅0952

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值