nifi之将上游的生成的sql语句写入到数据库中(六)

最新推荐文章于 2023-09-04 23:22:21 发布
最新推荐文章于 2023-09-04 23:22:21 发布
阅读量1.6k 收藏 3
点赞数 1
分类专栏： nifi操作 文章标签： sql centos nifi linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/guijianchouxyz/article/details/120340154
版权

nifi之将上游的生成的sql语句写入到数据库中

在上一篇中我们已经成功的将数据转换成了sql语句,那么这一篇我们会将sql语句写进数据库中

PutSQL：通过Flowfile中的内容对数据库进行更新(flowfile包含的是一些数据库DDM语句

更改处理器名称

在这里插入图片描述

在这里插入图片描述

配置putsql处理器的属性

新建一个连接池

在这里插入图片描述

在这里插入图片描述

配置连接池

基本上与从数据库里面取数据的配置方法一样
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
我的构想是这样的,数据基本上原理都一样,无论是mysql 还是sql server都是通过java驱动来进行读取和写入数据的,咱们这里是为了练习测试,所以小编决定再将数据写进同一个数据库中只不过不是同一个表

确保dest数据库中的表与我们取数据的表的字段格式是一样的

字段名称可以不一样,生成的sql语句里面的字段名称可以在上一篇自己配置
如果没有表,请创建一张测试表,和小编一样

在这里插入图片描述
在这里插入图片描述

开始配置

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

需要更改一下SpliteText处理器的属性配置

我们在上一篇文章中生成sql中,sql语句中我们需要插入的数据的表不对,我们需要改改.

在这里插入图片描述

在这里插入图片描述

创建自连接

因为到了这里就是一个结束了,不需要下游了,可以让他自连接了就

在这里插入图片描述

启动查看效果

可以看到我们的表中是空的
在这里插入图片描述
执行开始

在这里插入图片描述

出现报错

在这里插入图片描述
原因是我们忘了配置数据库账号密码了
在这里插入图片描述

重新开始

同理全部处理器停止
在这里插入图片描述
在这里插入图片描述

检查数据库

在这里插入图片描述
在这里插入图片描述

结束语

到这里,这个总体也就结束了,感谢大家的陪伴,下一步,小编在编写一下实时同步数据库的数据

刘帅0952
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
NIFI从MySql中离线读取数据再导入到MySql中_03_来吧用NIFI实现_数据分页获取功能---大数据之Nifi工作笔记0038
添柴程序猿的专栏
04-20 948
实际引用环境中,我们的一张mysql的表,可能有上千万的数据,那么,不可能,我们把sql查询语句写死,这样一次性如果获取所有数据,那么压力太大了,我们怎么弄呢?找了很久没有找到相关教程,自己做了测试,整理出来了.querydatabasetable处理器删除掉了,对,因为querydatabasetable,不支持分页,所以我们删除掉了,除了替换掉了,这两个处理器,其他的。内容分别是这3条sql对吧,可以看到这个处理器,已经根据我们的要求,给我们自动生成了分页的sql了,然后,我们再去把,这些sql,
基于nifi将mysql数据导入clickhouse
03-04
基于nifi将mysql数据导入clickhouse。 给出了基于http与JDBC两种方式
NiFi Processors之PutSQL
邢为栋
05-05 3362
NiFi是一个数据处理和分发系统，其中很重要的一部分是处理器(Processors)。一个处理器组合系统间的数据路由、转换或调解。处理器可以访问给定FlowFile的属性及其内容流。处理器可以在给定的工作单元中对零个或多个FlowFile进行操作，并提交该工作或回滚。 本文介绍NiFi处理器之一 ：PutSQL。 描述 执行SQL UPDATE或INSERT命令。传入的FlowFile的内容应该是...
NIFI实现JSON转SQL并插入到数据库表中
最新发布
浩瀚蓝天dep的博客
09-04 1412
说明：博主的NIFI是使用docker安装的，容器的数据全部挂载到了宿主机中，NIFI的HOME默认是在/opt/nifi/nifi-current，挂载到宿主机的路径为：/root/data/nifi/nifi-current。这里跳过测试，如果需要测试自己的配置是否正确的，可以自行将处理器和LogAttribute处理器进行连接进行测试，以下是博主自己的测试结果，做个参考，最后面会打印生成的SQL语句。再次双击处理器，配置Statement Type，选择INSERT，代表生成的是INSERT语句。
Apache NiFi处理器的类别介绍
weixin_59295776的博客
07-28 153
NiFi包含许多不同的处理器。这些处理器提供了可从众多不同系统中提取数据、路由、转换、处理、拆分和聚合数据以及将数据分发到多个系统的功能。介绍一些最常用的处理器,按功能对它们进行分类。7、数据出口/发送数据。
NIFI从PostGresql中离线读取数据再导入到MySql中_带有数据分页获取功能_不带分页不能用_NIFI资料太少了---大数据之Nifi工作笔记0039
添柴程序猿的专栏
04-25 317
然后再拖入一个splitjson处理器,把转换后的json数据,进行分割,如果是json数组的话会被分割成一条一条的。这里一定要注意的就是,这里,在postgresql中,写sql的时候要用,单引号,不要用双引号,用双引号执行报错。然后再去拖入一个replacetext处理器,用来把从json中提取的数据,替换到我们自己编写的sql语句中。可以看到执行处理器以后的数据,当然这里,可以看一下flowfile的,队列中的flowfile的属性.然后配置对应的url,驱动名称,驱动位置 ,数据库名称,密码。
大数据nifi模板,用来实时从mysql数据中读取数据到另一个mysql的数据库中
04-24
2.下载以后导入nifi,然后直接点击启动就可以实现数据的同步了,可以直接同步一整张表,数据库连接池已经配置好了,笔者自己测试过用了.. 3.可以配置需要同步的表,然后需要同步的目的地的表就可以了.
8、NIFI综合应用场景-NiFi监控MySQL binlog进行实时同步到hive
05-29
在本场景中，我们将探讨如何使用NiFi来实时监控MySQL数据库的binlog（二进制日志），并将其中的变更事件同步到Hive数据仓库。由于Hive的插入操作效率较低，这种方案通常不用于直接的实时写入，但可以作为数据流处理...
6、NIFI应用场景-离线同步Mysql数据到HDFS中
05-29
在本文中，我们将探讨如何使用NIFI实现离线同步MySQL数据库中的数据到HDFS（Hadoop分布式文件系统）中。这个过程对于大数据分析和处理至关重要，因为它允许将结构化数据集成到大数据平台中。 首先，确保你已经准备...
Apache Nifi 概念介绍、源码解析、开发指南（中文）
03-06
NiFi 的核心设计理念是 Flow-Based Programming，它可以将数据从各种 sources 中提取，转换，和发送到各种 destinations。 NiFi 的基本概念包括 FlowFile、FlowFile Processor、Connection 和 Flow Controller。...
nifi 实现数据库到数据库之间数据同步
sinat_28371057的博客
11-21 2256
数据同步 　　界面如下： 　　　　 　　具体流程： 　　　　1、使用ExecuteSQL连接mysql数据库，通过写sql查询所需要的数据 　　　　2、nifi默认查出来的数据为Avro格式，所以需要ConvertAvroToJSON把Avro格式转化为json格式的数据 　　　　3、使用ConvertJSONToSQL把json数据转化为sql语句 　　　　4、使用PutSQL把数据存入数据库。 　　　　5、同步的数据重复插入数据库，需要对数据进行更新操作，SplitJson对json进行
nifi putsql resolve cannot convert timestamp
池
01-06 508
使用Putsql,如果遇到时间类型的参数。提示： cannot convert start_time to timestamps putsql源码： // Backwards compatibility note: Format was unsupported for a timestamp field. if (valueFormat.equals("")) { if(LONG_PATTERN.matcher(parameterValue).matches()){ lTimest
《数据同步-NIFI系列》NIFI同步API接口数据
https://blog.datasource.space
08-22 2294
​ 通过NIFI同步工具，从API接口中获取指定数据，并同步到MySQL数据库。
NiFi数据流实例三
邢为栋
05-05 1893
NiFi数据流实例系列文章，是将我个人做过的一些数据流项目和探索整理成数据流实例，旨在提供NiFi实用方法。 示例说明 本实例构建一条数据流，以小时为间隔获取天气数据，截取部分数据字段，经由Phoenix写入到HBase中。其中全部数据都写入到TIANQI表中，过滤一部分数据写入到TIANQI_FILTER表中。 本实例是在NiFi数据流实例二的基础上进行的升级，虽然阅读的时候不需要参考实例二，但...
nifi之将一行一行数据进行值的定义，方便取值（4）
guijianchouxyz的博客
09-16 623
nifi之将一行一行数据进行值的定义 EvaluateJsonPath：主要作用就是把数据里面的配置成“键值对”的方式。方便下游处理器进行取值 创建EvaluateJsonPath处理器 接上一篇长，已经成功创建了出来 给处理器name 对上游数据进行分析 我们通过分析上游数据来对如何进行“键值对”配置来进行了解，这边涉及到jsonpath的语法。感兴趣的大家可以去百度了解一下 上游的数据长这个样子 分析:通过取前面的id或者age可以得到后面的值,这个还是一层的,比较好取值,好的,开搞 对处理器
nifi通过自定义processor将数据流入Elasticsearch
suphieLiang的博客
01-02 2770
此文章对自定义processor不做详细讲解。 总体流程如下 其中AddT为自定义processor AddT流入的数据为json格式流入的字段应与FlowMsgIn中相同 因此流入的数据应如： {“City”:”“,”param”:”cc”,”Number”:”12345”,”body”:”aa”,”query”:”111”} 数据流入后在rules类中通过一定业务逻辑增加ne
nifi之将已经定义好的数据进行取值并拼装成sql语句(5)
guijianchouxyz的博客
09-16 787
nifi之将已经定义好的数据进行取值并拼装成sql语句 上一篇我们已经成功的将数据进行了自定义,方便交接给下游处理器进行使用,今天我们就用ReplaceText处理器来对数据进行拼接 对ReplaceText处理器命名 进行处理器的属性配置 准备我们需要的sql插入语句,应为我们后期还要对数据库进行写入,我们就的需要一个数据库的插入语句,每个人与每个表的字段都不一样,如果大家要用的话,还是建议大家先在数据库试下能不能正常的插入数据 我的sql语句如下: 因为小编的id是自增的还是主键,就不需要考虑
nifi探索之写入数据库
qinqinyijia的博客
09-06 5206
Abstract:本文章将展示如何将一个包含多条数据的文本文件保存到数据库中，每条数据对应数据库中的一条记录整体流程
NIFI里的数据库连接池
酷酷的诚的博客
09-24 3115
点击上方蓝色“Panda诚”，选择“设为星标” 通常我们在NIFI里最常见的使用场景就是读写关系型数据库，一些组件比如GenerateTableFetch、ExecuteSQL、PutSQL、ExecuteSQLRecord、PutDatabaseRecord等等，都会有一个属性配置大概叫Database Connection Pooling Service的，对应的接口是DBCPService，其实现类有：HiveConnectionPool DBCPConnectionPool DBCPCo.
nifi ExecuteScript执行python脚本获取数据库连接，执行sql
05-27
在NiFi中使用ExecuteScript执行Python脚本获取数据库连接，执行SQL，可以按照以下步骤进行操作： 1. 在NiFi中创建一个ExecuteScript处理器，并选择要执行的脚本语言为Python。 2. 编写Python脚本，获取数据库连接，执行SQL并返回结果。以下是一个简单的示例： ```python from org.apache.nifi.processor.io import StreamCallback from org.apache.nifi.processor.util import StandardCharsets from org.apache.nifi.processor import * from java.io import BufferedReader, InputStreamReader import java.sql class PyStreamCallback(StreamCallback): def __init__(self): pass def process(self, inputStream, outputStream): connection = java.sql.DriverManager.getConnection('jdbc:mysql://localhost:3306/test', 'username', 'password') statement = connection.createStatement() resultSet = statement.executeQuery('SELECT * FROM table') while resultSet.next(): value = resultSet.getString('column_name') outputStream.write(bytearray(value, StandardCharsets.UTF_8)) flowFile = session.get() if flowFile != None: flowFile = session.write(flowFile, PyStreamCallback()) session.transfer(flowFile, REL_SUCCESS) ``` 在这个脚本中，我们首先导入了需要使用的Java类，包括StreamCallback、StandardCharsets、Processor等。然后定义了一个名为PyStreamCallback的类，继承自StreamCallback，用于处理输入流和输出流。 在process方法中，我们使用Java的JDBC API获取数据库连接，执行SQL语句，并将结果输出到输出流中。最后，我们使用NiFi的API将处理后的流传输到下一个处理器。 3. 配置ExecuteScript处理器的属性，包括Python解释器路径、脚本文件路径等。 4. 运行NiFi流程，执行Python脚本获取数据库连接，执行SQL并返回结果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

刘帅0952

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值