《数据同步-NIFI系列》Nifi配置DBCPConnectionPool连接SQL Server数据库

已于 2023-12-23 22:55:47 修改
阅读量1.4k 收藏
点赞数
分类专栏： 数据同步 文章标签： 数据库 大数据 etl
于 2023-07-31 21:06:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51197424/article/details/132030555
版权
文章介绍了如何在Nifi中配置DBCPConnectionPool以连接SQLServer数据库，包括设置DatabaseConnectionURL、DatabaseDriverClassName、DatabaseDriverLocation(s)、DatabaseUser和Password等关键参数，以及上传SQLServer驱动Jar包到Nifi服务器的过程。
摘要由CSDN通过智能技术生成

文章目录

Nifi配置DBCPConnectionPool连接SQL Server数据库

一、新增DBCPConnectionPool

在配置中新增DBCPConnectionPool，然后配置数据库相关信息

在这里插入图片描述

二、配置DBCPConnectionPool

2.1 DBCPConnectionPool介绍

主要介绍以下五个必填参数

  • Database Connection URL：配置连接数据库的URL
  • Database Driver Class Name：配置连接数据库需要的Driver
  • Database Driver Location(s)：配置连接数据库需要的驱动配置文件
  • Database User：配置连接数据库的用户名
  • Password：配置连接数据库的密码

在这里插入图片描述

2.2 配置SQL Server连接

  • Database Connection URL

    • serverName: 数据库的IP
    • port：数据库的端口
    • databaseName：使用的数据库名称
    jdbc:sqlserver://;serverName=IP;port=端口;databaseName=数据库名

  • Database Driver Class Name

    com.microsoft.sqlserver.jdbc.SQLServerDriver

  • Database Driver Location(s)

    把连接SQL Server需要驱动Jar包上传到Nifi的服务器中。如果NiFi是集群，则需要将Jar上传到集群中的所有服务器的同一个位置。

  • Database User

    用户名

  • Password

    密码

三、SQL Server驱动Jar

以上信息配置好后就可以正常使用该DBCPConnectionPool进行数据同步了。

DATA数据猿
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
NIFI同步MySql数据_到SqlServer_错误_驱动程序无法通过使用安全套接字层(SSL)加密与SQL Server_Navicat连接SqlServer---大数据之Nifi工作笔记0047
添柴程序猿的专栏
05-17 332
看一下GenerateTableFetch处理器,看看他是从,哪个数据库这里是mysql中的user_info_nifi表中获取数据的,然后一路,数据过来以后,插入到我们的sqlserver中去.然后,这个是整个流程,可以看到. 这个流程跟从mysql中读取数据,再输出到mysql中或者postgresql中是一样的,这里就不再一步步重新说了,具体需要配置的就是。需要修改一下,数据库连接池中的连接就可以了,上面我写的那两个连接就可以,如果直接用了上面那两个,应该不会碰到这个错误了.
NiFi Controller Services之DBCPConnectionPool
邢为栋
05-04 1989
NiFi是一个数据处理和分发系统，其中一部分是控制器服务(Controller Services)。控制器服务提供一项功能，可以被处理器使用。 本文介绍NiFi控制器服务之一 ：DBCPConnectionPool。 描述 提供数据库连接池服务。可以从池中请求连接并在使用后返回。 属性 这里只介绍我使用过的配置： 名称 默认值 允许值 描述 提示 Database Connecti...
Nifi采集Sqlserver数据推送到Doris
最新发布
weixin_43025027的博客
07-10 1326
Nifi采集Sqlserver数据推送到Doris
nifi连接sqlserver with windows验证 & 遇到的错误
SR_SSS的博客
11-16 735
2.把mssql-jdbc-11.2.0jre8.jar上传jdbc到nifi服务器，如果是集群的话每个server都要上传，比如放到/opt/nifi/drivers目录。修改用户为nifi一样的用户，保证nifi有权限acess jdbc文件。可以看看nifi安装目录的owner是哪个账号。4.在processor中使用DBCPConnectionPool，比如。3.nifi设置DBCPConnectionPool。nifi在linux服务器上。
用NIFI 实现数据库之间数据同步-方法一
wawzc1s13的专栏
06-08 1080
流程化数据治理工具NIFI的使用-针对具体应用场景
NIFI里的数据库连接池
酷酷的诚的博客
09-24 3143
点击上方蓝色“Panda诚”，选择“设为星标” 通常我们在NIFI里最常见的使用场景就是读写关系型数据库，一些组件比如GenerateTableFetch、ExecuteSQL、PutSQL、ExecuteSQLRecord、PutDatabaseRecord等等，都会有一个属性配置大概叫Database Connection Pooling Service的，对应的接口是DBCPService，其实现类有：HiveConnectionPool DBCPConnectionPool DBCPCo.
mysql – SQL标准UPSERT调用
u011250186的博客
08-21 845
我正在寻找一个标准的SQL“UPSERT”声明.如果存在,则插入和更新一次调用. 我正在寻找一个有效,高效的跨平台电话. 我见过MERGE,UPSERT,REPLACE,INSERT ..在DUPLICATE UPDATE但没有声明符合需求. 顺便说一句,我使用MYSQL和HSQLDB进行unitests.我知道HSQLDB是有限的,可能无法满足我的需求,但即使没有它,我也找不到标准的方法. 现在只有MYSQL和HSQLDB才足够的声明. 我一直在寻找一段时间,但无法得到答案. 我的桌子： ...
9、NIFI综合应用场景-通过NIFI配置kafka的数据同步
05-29
你可以通过Kafka提供的命令行工具或第三方工具（如在示例中提到的http://server1:8048/topic/meta/nifi-kafka/）来监控和验证数据是否成功发送到Kafka，并被消费者正确消费。 总结来说，Nifi与Kafka的集成为ETL...
8、NIFI综合应用场景-NiFi监控MySQL binlog进行实时同步到hive
05-29
在本场景中，我们将探讨如何使用NiFi来实时监控MySQL数据库的binlog（二进制日志），并将其中的变更事件同步到Hive数据仓库。由于Hive的插入操作效率较低，这种方案通常不用于直接的实时写入，但可以作为数据流处理...
ETL工具-Nifi MS SQL订单Header&Detail数据同步/迁移解决方案
05-20
ETL工具-Nifi MS SQL订单Header&Detail数据同步/迁移解决方案,主从表同步
NIFI大数据模板-HbaseToMysqlByPhoenix-实时数据同步带分页.zip
05-25
这里面编写了一个NIFI大数据传输流程,使用phoenix从hbase中去获取数据,带分页获取数据以后,然后把数据同步到指定的mysql数据库中去,实现数据的实时同步. 下载以后配置一下对应的数据库连接池,以及数据库的用户名...
大数据Nifi处理-MySqlToSqlServer数据分页实时同步.zip
05-19
项目中需要的整理出来给需要的宝子们,实现了在大数据场景中,实时同步指定MySql数据源的数据,实时同步到Sql...最后启动所有流程,Nifi就会根据流程自动从mysql数据库中读取数据,读取数据有把数据同步到SqlServer中去
NIFI配置数据源连接池
wawzc1s13的专栏
06-08 449
NIFI配置数据源连接池
NIFI数据库同步_多表_特定表同时同步_实际操作_MySqlToMysql_可推广到其他数据库_Postgresql_Hbase_SqlServer等----大数据之Nifi工作笔记0053
添柴程序猿的专栏
05-30 514
然后其他的默认就可以了,这里注意Refresh Interval这个需要配置,就是多久获取一次数据表3sec,这个是我自己设置的,如果这里不设置用默认的话,那么会出现,只获取一次的情况,而且,重启以后也不再获取了.Table Name: ${db.table.name}这个配置好,这里要获取,对应的参数中的名字,当然这个是目标表中的名字,这个名字,我们可以弄的灵活一点,比如我们再加上一个_时间等等。可以看到这里需要配置数据库连接池第一个,配置方法,太老套了,不说了这里,可以看之前的文章写的很详细了.
ETL工具-nifi干货系列 第十三讲 nifi处理器QueryDatabaseTable查询表数据实战教程
zhangjin1222的博客
04-16 1024
如果启用，则使用逻辑类型并按其底层类型写入，具体来说，DECIMAL/NUMBER 作为逻辑 ‘decimal’：按字节写入，并附加精度和比例元数据，DATE 作为逻辑 ‘date-millis’：按整数写入，表示自 Unix 纪元（1970-01-01）以来的天数，TIME 作为逻辑 ‘time-millis’：按整数写入，表示自 Unix 纪元以来的毫秒数，以及 TIMESTAMP 作为逻辑 ‘timestamp-millis’：按长整数写入，表示自 Unix 纪元以来的毫秒数。
NIFI使用DBCPConnectionPool Maven打包异常问题
kj_1314的博客
03-29 194
最近测试一下NIFI组件使用Service，网上并没有什么资料可供参考，根据官方和NIFI自带NAR模仿开发，虽然包引进来了但是打包一直失败
Apache NIFI 安装 ● 操作 ● 文件同步 ● oracle 数据库增量同步实例讲解
往事知多少？
09-11 3991
nifi简介nifi背景 NiFi之前是在美国国家安全局（NSA）开发和使用了8年的一个可视化、可定制的数据集成产品。2014年NSA将其贡献给了Apache开源社区，2015年7月成功成为Apache顶级项目。 NiFi概念 Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统。Apache NiFi 是为数据流设计，它支持高度可配置的指示图的数据路由、转换和系统中介逻...
Nifi + Kafka + Flink（Scala）+ Doris Sqlserver 数据实时同步
weixin_41734687的博客
01-20 1741
一 Nifi 配置 2.搜索表生成器 配置信息 创建数据库连接池 连接信息jdbc:sqlserver://10.126.141.189:29528;DatabaseName=db Database Driver Class Name：com.microsoft.sqlserver.jdbc.SQLServerDriver 打开连接池 最后配置好的processer 二 创建sql执行器 创建json解析器 配置json解析器 { "namespace": "zhuihu",
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

DATA数据猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值