Nifi ExecuteSQL的使用

最新推荐文章于 2023-09-04 23:22:21 发布
最新推荐文章于 2023-09-04 23:22:21 发布
阅读量887 收藏
点赞数 1
文章标签： 运维开发 dba mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37753516/article/details/121378665
版权

1.配置连接池
（1）oracle
在oracle这里插入图片描述
oracle驱动地址：https://pan.baidu.com/s/1F4BfzYEceCHP4xcIzQ4cQQ 提取码：zgpd
（2）mysql
在这里插入图片描述
mysql驱动地址：https://pan.baidu.com/s/1Z7PRIlso2tikisScXAEZuQ 提取码：551d
2.启用后配置executesql处理器
在这里插入图片描述

Xww_0819
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【Apache NIFI Processor】ExecuteSQL
南方有乔木的博客
09-29 1876
ExecuteSQL-NIFI Processor
业务数据同步工具NiFi介绍和使用
迷雾总会解
06-03 2708
一个易于使用，功能强大，可靠的处理和分发数据框架。主要用于数据的同步传输，支持灵活的数据格式转换，同时可以设置定时调度任务。主要用于离线同步。（1）NiFi登陆界面解读我们现在可以通过在画布中添加Processor来开始创建数据流。要执行此操作，请将处理器图标从屏幕左上方拖动到画布中间（图纸类背景）并将其放在那里。这将为我们提供一个对话框，允许我们选择要添加的处理器：提示：各个处理器的用途及配置在官网上都有介绍，大约提供了近300个常用处理器。
NIFI实现JSON转SQL并插入到数据库表中
浩瀚蓝天dep的博客
09-04 1387
说明：博主的NIFI是使用docker安装的，容器的数据全部挂载到了宿主机中，NIFI的HOME默认是在/opt/nifi/nifi-current，挂载到宿主机的路径为：/root/data/nifi/nifi-current。这里跳过测试，如果需要测试自己的配置是否正确的，可以自行将处理器和LogAttribute处理器进行连接进行测试，以下是博主自己的测试结果，做个参考，最后面会打印生成的SQL语句。再次双击处理器，配置Statement Type，选择INSERT，代表生成的是INSERT语句。
NiFi Processors之PutSQL
邢为栋
05-05 3333
NiFi是一个数据处理和分发系统，其中很重要的一部分是处理器(Processors)。一个处理器组合系统间的数据路由、转换或调解。处理器可以访问给定FlowFile的属性及其内容流。处理器可以在给定的工作单元中对零个或多个FlowFile进行操作，并提交该工作或回滚。 本文介绍NiFi处理器之一 ：PutSQL。 描述 执行SQL UPDATE或INSERT命令。传入的FlowFile的内容应该是...
nifi ExecuteGroovyScript 操作手法 直接用sql 脚本 执行任务 操作数据
银河系天城知识宝库_技术专家蒋浩宇
08-03 2370
目录 一个示例 实例代码模板 截图 script scriptboty 结果 介绍 控件基础 基础手法 设置新属性 删除属性 写内容 得到内容 将流文件传输到成功关系 使用dbcp 处理处理器启动和停止 根据主表的数据，去查询子表，并且将主子表的数据进行 组装 脚本sql实现1.删除2查询3.添加 1.界面 2.配置俩个数据库 3.具体代码体 一...
Apache NiFi 入门指南
张伯毅的专栏
03-19 1万+
本指南使用于谁？ 本指南适用于从未使用过，在NiFi中有限度接触或仅完成特定任务的用户。本指南不是详尽的说明手册或参考指南。“用户指南”提供了大量信息，旨在提供更加详尽的资源，并且作为参考指南非常有用。相比之下，本指南旨在为用户提供所需的信息，以便了解如何使用NiFi，以便快速轻松地构建强大而灵活的数据流。 一些因为本指南中的某些信息仅适用于初次使用的用户，而其他信息可能适用于那些使用过Ni...
apache nifi使用指南
01-12
Apache NiFi 是一个易于使用、功能强大而且可靠的数据拉取、数据处理和分发系统，用于自动化管理系统间的数据流。它支持高度可配置的指示图的数据路由、转换和系统中介逻辑，支持从多种数据源动态拉取数据。NiFi原来...
nifi使用笔记
11-21
NiFi管理员或数据流管理器（DFM）可能会发现，在单个服务器上使用NiFi的一个实例不足以处理它们拥有的数据量。 所以，一个解决方案是在多个NiFi服务器上运行相同的数据流。 但是，这会产生管理问题，因为每次DFM想要...
基于nifi将mysql数据导入clickhouse
03-04
基于nifi将mysql数据导入clickhouse。 给出了基于http与JDBC两种方式
NiFi实时离线数据采集工具
最新发布
11-16
1. 易于使用和强大：NiFi 提供了一个直观的用户界面，用户可以通过拖放操作构建数据处理流程。 2. 可靠的数据拉取和分发：NiFi 设计用于处理和传输大量数据，确保数据的完整性。 3. 高度配置的流程图：用户可以根据...
apache nifi使用指南.docx
09-29
Apache NiFi 是一个易于使用、功能强大而且可靠的数据拉取、数据处理和分发系统，用于自动化管理系统间的数据流。它支持高度可配置的指示图的数据路由、转换和系统中介逻辑，支持从多种数据源动态拉取数据。NiFi原来...
NIFI里的数据库连接池
酷酷的诚的博客
09-24 3101
点击上方蓝色“Panda诚”，选择“设为星标” 通常我们在NIFI里最常见的使用场景就是读写关系型数据库，一些组件比如GenerateTableFetch、ExecuteSQL、PutSQL、ExecuteSQLRecord、PutDatabaseRecord等等，都会有一个属性配置大概叫Database Connection Pooling Service的，对应的接口是DBCPService，其实现类有：HiveConnectionPool DBCPConnectionPool DBCPCo.
nifi之将上游的生成的sql语句写入到数据库中(六)
guijianchouxyz的博客
09-17 1627
nifi之将上游的生成的sql语句写入到数据库中 在上一篇中我们已经成功的将数据转换成了sql语句,那么这一篇我们会将sql语句写进数据库中 PutSQL：通过Flowfile中的内容对数据库进行更新(flowfile包含的是一些数据库DDM语句 更改处理器名称 配置putsql处理器的属性 新建一个连接池 配置连接池 基本上与从数据库里面取数据的配置方法一样 我的构想是这样的,数据基本上原理都一样,无论是mysql 还是sql server都是通过java驱动来进行读取和写入数据的,咱们
nifi 读取mysql_nifi实现数据库到数据库之间数据同步
weixin_31308407的博客
01-19 887
一.安装：NiFi 是免安装地，仅需从官网下载压缩包，然后解压，即完成了整个安装过程，官网下载安装包(http://nifi.apache.org/download.html)，选择nifi-x.x.x-bin.tar.gz的最新版本即可。解压结束即完成安装过程。二.配置：修改配置文件nifi.properties(路径/usr/download/nifi-1.7.1/conf，根据解压位置而定)...
ExecuteSQL
酷酷的诚的博客
02-15 1万+
描述： 该处理器执行SQL语句，返回avro格式数据。处理器使用流式处理，因此支持任意大的结果集。处理器可以使用标准调度方法将此处理器调度为在计时器或cron表达式上运行，也可以由传入的流文件触发。SQL语句来源可以来自该处理器属性SQL select query，也可以来自上一个处理器的输出流（UTF-8格式）（GenerateTableFetch，ConvertJsonToSq...
Apache nifi 实例
kevin_xiang的专栏
01-10 6061
Apache nifi 实例的一些实例， 1. mysql_to_mysql 2. mysql_to_hdfs 3. mysql_to_es demo导出模版xml ,  demo_all.xml ， 通过下面的upload Template 导入模版， 然后自己添加模版就可以在本机看到了 801728b8-0159-1000-1429-a0
nifi实现数据库到数据库之间数据同步
热门推荐
zhulu52166的博客
10-25 1万+
nifi实现数据库到数据库之间数据同步 一.安装：NiFi 是免安装地，仅需从官网下载压缩包，然后解压，即完成了整个安装过程，官网下载安装包（http://nifi.apache.org/download.html），选择nifi-x.x.x-bin.tar.gz的最新版本即可。解压结束即完成安装过程。 二.配置：修改配置文件nifi.properties（路径/usr/download/nifi...
NIFI添加数据库连接
Mr_Tanga的博客
07-26 6379
首先打开我们的nifi网页。我们自定义一个PROCESSOR 我打开一个executor_sql 然后打开链接 点这个后面的箭头 然后点这个 之后说是让我们添加数据库， 在这搜索 DBCP,然后会出现一个返回 点这个设置 这个name主要是这个数据库链接的名字，类似与这个数据库的注释 真正的数据库链接在PROPERtIES 我们要添加的一共就4个类似，最后一个...
Apache Nifi
功夫熊猫
04-22 795
2.3.3 数据接入类处理器单元ConvertJSONToSQLConvertJSONToSQL处理器单元可以将结构化的Json转换成INSERT或者UPDATE这样命令的SQL，配合PutSQL处理器单元可以直接根据这鞋命令将数据插入数据库中。上面的图中表示Processor根据输入的FlowFile的JSON内容，将JSON转化成Update的SQL语句。ExecuteSQLExecuteSQ...
nifi ExecuteScript执行python脚本获取数据库连接，执行sql
05-27
在NiFi中使用ExecuteScript执行Python脚本获取数据库连接，执行SQL，可以按照以下步骤进行操作： 1. 在NiFi中创建一个ExecuteScript处理器，并选择要执行的脚本语言为Python。 2. 编写Python脚本，获取数据库连接，执行SQL并返回结果。以下是一个简单的示例： ```python from org.apache.nifi.processor.io import StreamCallback from org.apache.nifi.processor.util import StandardCharsets from org.apache.nifi.processor import * from java.io import BufferedReader, InputStreamReader import java.sql class PyStreamCallback(StreamCallback): def __init__(self): pass def process(self, inputStream, outputStream): connection = java.sql.DriverManager.getConnection('jdbc:mysql://localhost:3306/test', 'username', 'password') statement = connection.createStatement() resultSet = statement.executeQuery('SELECT * FROM table') while resultSet.next(): value = resultSet.getString('column_name') outputStream.write(bytearray(value, StandardCharsets.UTF_8)) flowFile = session.get() if flowFile != None: flowFile = session.write(flowFile, PyStreamCallback()) session.transfer(flowFile, REL_SUCCESS) ``` 在这个脚本中，我们首先导入了需要使用的Java类，包括StreamCallback、StandardCharsets、Processor等。然后定义了一个名为PyStreamCallback的类，继承自StreamCallback，用于处理输入流和输出流。 在process方法中，我们使用Java的JDBC API获取数据库连接，执行SQL语句，并将结果输出到输出流中。最后，我们使用NiFi的API将处理后的流传输到下一个处理器。 3. 配置ExecuteScript处理器的属性，包括Python解释器路径、脚本文件路径等。 4. 运行NiFi流程，执行Python脚本获取数据库连接，执行SQL并返回结果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值