NIFI从MySql中离线读取数据再导入到MySql中_不带分页处理_01_QueryDatabaseTable获取数据_原0036---大数据之Nifi工作笔记0064

已于 2024-03-08 08:59:46 修改
阅读量757 收藏
点赞数
分类专栏： 离&实时计算&大数据 文章标签： nifi大数据 nifi mysql数据同步 querydatabase nifi查询数据库表信息
于 2023-04-20 15:55:01 首次发布
本文为博主原创文章，未经博主 添柴程序猿 允许不得转载 违者追究法律责任。
本文链接：https://blog.csdn.net/lidew521/article/details/130227366
版权
本文介绍了如何使用NIFI的QueryDatabaseTable处理器从MySQL数据库中离线读取数据，并将其转换为JSON格式，然后导入到另一个MySQL数据库。详细阐述了配置数据库连接池、设置SQL查询、处理AVRO到JSON转换的过程，以及遇到的问题和解决方案。
摘要由CSDN通过智能技术生成

 首先拖入一个处理器组,然后把名字修改一下

首先拖入一个处理器组,把名字修改成mysql数据实时采集

然后拖入一个querydatabasetable处理器,然后配置处理器的数据库连接池

创建一个数据库连接池

选择上图中的连接池,

了解本专栏 订阅专栏 解锁全文 超级会员免费看
添柴程序猿
关注
专栏目录
订阅专栏
NIFI从PostGresql中离线读取数据再导入到MySql中_带有数据分页获取功能_不带分页不能用_NIFI资料太少了---大数据之Nifi工作笔记0039
添柴程序猿的专栏
04-25 388
然后再拖入一个splitjson处理器,把转换后的json数据,进行分割,如果是json数组的话会被分割成一条一条的。这里一定要注意的就是,这里,在postgresql中,写sql的时候要用,单引号,不要用双引号,用双引号执行报错。然后再去拖入一个replacetext处理器,用来把从json中提取的数据,替换到我们自己编写的sql语句中。可以看到执行处理器以后的数据,当然这里,可以看一下flowfile的,队列中的flowfile的属性.然后配置对应的url,驱动名称,驱动位置 ,数据库名称,密码。
NIFI从MySql中离线读取数据再导入到MySql中_03_来吧用NIFI实现_数据分页获取功能---大数据之Nifi工作笔记0038
添柴程序猿的专栏
04-20 1004
实际引用环境中,我们的一张mysql的表,可能有上千万的数据,那么,不可能,我们把sql查询语句写死,这样一次性如果获取所有数据,那么压力太大了,我们怎么弄呢?找了很久没有找到相关教程,自己做了测试,整理出来了.querydatabasetable处理器删除掉了,对,因为querydatabasetable,不支持分页,所以我们删除掉了,除了替换掉了,这两个处理器,其他的。内容分别是这3条sql对吧,可以看到这个处理器,已经根据我们的要求,给我们自动生成了分页的sql了,然后,我们再去把,这些sql,
nifi连接mysql_使用NiFi简单的从网站获取数据写入到mysql数据库
weixin_36148740的博客
01-19 1629
最近稍微研究了下etl工具nifi，它是Apache下面的一个项目，是用作数据流处理的，具体的就不多做介绍了，网上也有很多介绍，官网是 https://nifi.apache.org/docs.html，我在这里做了一个从中移物联网onenet平台抽取数据到mysql的功能，没有做数据过滤以及中文转码乱码的情况处理，这2个地方还不清楚怎么做，如果会的同学也帮忙指导我一下，我们接下来看看整个的设...
nifi mysql to mysql_【NiFi csv to mysql系列】三写入数据库
weixin_29325515的博客
01-19 388
Abstract:本文章将展示如何将一个包含多条数据的文本文件保存到数据库中，每条数据对应数据库中的一条记录整体流程下面将依次详细说明每个核心processor的配置以及完成的功能每一行为一条记录，包含三个部分，并用双分号分割ExecuteScript就是一个执行特定脚本文件的处理器，脚本内容在Script body中指定，同时可以指定脚本的语言。我选用的是groovy编写的脚本，跟java非常类...
nifi mysql to mysql_NiFi 实战
weixin_28235513的博客
01-28 740
Demo 1 local to HDFS1 场景： 文件批量上传HDFS2 数据源local文件系统中, /opt/nifiData/raw下批量文件：root@machine001:/opt/nifiData/raw# cd /opt/nifiData/rawroot@machine001:/opt/nifiData/raw# lsmachine000_metric000.csv machin...
ETL工具-nifi干货系列 第十四讲 nifi处理器QueryDatabaseTableRecord查询表数据实战教程
最新发布
zhangjin1222的博客
04-17 697
1、处理器QueryDatabaseTableRecord和处理器QueryDatabaseTable比较相似，该组件生成一个 SQL 查询，或者使用用户提供的语句，并执行它以获取所有在指定的最大值列中值大于先前所见最大值的行。处理器QueryDatabaseTableRecord属性配置和处理器QueryDatabaseTable属性配置基本一样，不了解的可以参考上一篇文章。唯独多了Record Writer属性。
NIFI从MySql中离线读取数据再导入到MySql中_无分页功能_02_转换数据_分割数据_提取JSON数据_替换拼接SQL_添加分页---大数据之Nifi工作笔记0037
添柴程序猿的专栏
04-20 317
select id,name,mobile,son_json from user_info_nifi limit 0,2 这里注意,我们漏下了email,没有取,所以后面,没有取出来email是正常的。修改它的配置,属性这里,这个JSON container options这里设置成array,就是我们把多条数据,转换成json数组,如果传过来的是多条数据的话.我们再去启动evaluateJsonPath处理器去看看,可以看到,这个时候,出来的两个flowfile,就已经根据,我们上面对。
NIFI分页获取Mysql数据_导入到Hbase中_并可通过phoenix客户端查询_含金量很高的一篇_搞了好久_实际操作05---大数据之Nifi工作笔记0045
添柴程序猿的专栏
05-09 378
然后再启动EvaluateJsonPath处理器,从json中提取数据,看一下flowfile的属性,已经把数据提取到属性中了。首先我们通过SQuirreL工具,通过这个工具,来查看一下我们的hbase中现在有哪些表,我们去创建一个表去.我们使用,sql,在SQuirrel工具中,创建一张hbase的表,用来存放,我们从mysql中读取的数据.再去打开各个处理器,然后去获取mysql中的对应表中的数据,然后,再去。创建以后我们来用查询sql,查询一下,可以看到,表中现在还没有数据.
Nifi模板-PostGreSqlToMySql数据分页实时采集-带分页.zip
05-06
使用大数据处理工具NIFI,进行数据从Postgresql中导入到MySql中,实现数据的同步处理,处理的时候,是带有分页的,因为作者正在做相关的项目,而,用nifi同步数据好说,如何,进行数据的分页同步不好弄,这里,主要是,采用...
NIFI大数据进阶_离线同步MySql数据到HDFS_01_实际操作---大数据之Nifi工作笔记0029
添柴程序猿的专栏
04-11 697
然后我们实际操作一下如何把mysql中的数据同步到hdfs中去,这里注意,这里是查询mysql中的表中的数据,然后放到。hdfs中去,并不是说,如果mysql数据表中的数据变化了,就自动同步到hdfs,这个功能后面我们再说,这是增量同步。然后设置这个处理器,scheduling,设置定时是9999sec,时间一定要长一点,不能不停的查询,服务器压力大。这里首先我们这里设置,我们json container options这里,我们让解析数据格式,设置成array。
NIFI同步MySql数据_到SqlServer_错误_驱动程序无法通过使用安全套接字层(SSL)加密与SQL Server_Navicat连接SqlServer---大数据之Nifi工作笔记0047
添柴程序猿的专栏
05-17 381
看一下GenerateTableFetch处理器,看看他是从,哪个数据库这里是mysql中的user_info_nifi表中获取数据的,然后一路,数据过来以后,插入到我们的sqlserver中去.然后,这个是整个流程,可以看到. 这个流程跟从mysql中读取数据,再输出到mysql中或者postgresql中是一样的,这里就不再一步步重新说了,具体需要配置的就是。需要修改一下,数据库连接池中的连接就可以了,上面我写的那两个连接就可以,如果直接用了上面那两个,应该不会碰到这个错误了.
nifi之读取mysql数据库离线提取（1）
guijianchouxyz的博客
09-16 1996
nifi之读取mysql数据库（离线同步） 选择处理器 QueryDatabaseTable：来读取数据库信息 生成SQL选择查询，或使用提供的语句 创建组 组的主要作用就是，把处理器进行分组 因为咱这个是最后的目标是从mysql数据库里面读取数据然后再放到mysql数据中，来进行的一个模拟的操作动作，所以我的组名就叫mysql_to_mysql，这个名称大家可以自己根据实际情况而改动 新建处理器 修改处理器名称 主要是为了方便一眼可以看出来这个处理器是干什么的 【双击处理器】 更改处
nifi连接mysql_nifi实现数据库到数据库之间数据同步
weixin_36158843的博客
01-19 1163
一.安装：NiFi 是免安装地，仅需从官网下载压缩包，然后解压，即完成了整个安装过程，官网下载安装包(http://nifi.apache.org/download.html)，选择nifi-x.x.x-bin.tar.gz的最新版本即可。解压结束即完成安装过程。二.配置：修改配置文件nifi.properties(路径/usr/download/nifi-1.7.1/conf，根据解压位置而定)...
NiFi 学习 — kafka入库mysql
草原孤狼的专栏
11-01 2675
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受. 介绍下从kafka中获取数据，然后放入到 mysql 的操作！ 目录 目标 一、准备工作 1.kafka集群 2.zookeeper集群 3.数据表 4. 造数程序 5.发送程序 二、NIFI UI配置 1.kafka的处理器 2.EvaluateJsonPath处理器配置 3.Spl...
nifi 爬虫初尝试 网络抓取数据存入mysql数据库
aiyinsitan215的专栏
06-25 1367
从指定的网站读取内容，将内容转为json，将json转为sql，然后插入到数据库 1、读取网站内容， ExecuteScript 处理器，脚本语言 grrovy，jsoup做解析网页信息，提取公司门户网站的所有的新闻 /usr/nifi/jars/jsoup-1.12.1.jar, 脚本代码如下： import groovy.json.JsonBuilder import org.jso...
ETL工具-nifi干货系列 第十三讲 nifi处理器QueryDatabaseTable查询表数据实战教程
zhangjin1222的博客
04-16 1144
如果启用，则使用逻辑类型并按其底层类型写入，具体来说，DECIMAL/NUMBER 作为逻辑 ‘decimal’：按字节写入，并附加精度和比例元数据，DATE 作为逻辑 ‘date-millis’：按整数写入，表示自 Unix 纪元（1970-01-01）以来的天数，TIME 作为逻辑 ‘time-millis’：按整数写入，表示自 Unix 纪元以来的毫秒数，以及 TIMESTAMP 作为逻辑 ‘timestamp-millis’：按长整数写入，表示自 Unix 纪元以来的毫秒数。
nifi连接mysql_【NIFI】 实现数据库到数据库之间数据同步
weixin_42131367的博客
01-19 758
数据同步界面如下：具体流程：1、使用ExecuteSQL连接mysql数据库，通过写sql查询所需要的数据2、nifi默认查出来的数据为Avro格式，所以需要ConvertAvroToJSON把Avro格式转化为json格式的数据3、使用ConvertJSONToSQL把json数据转化为sql语句4、使用PutSQL把数据存入数据库。5、同步的数据重复插入数据库，需要对数据进行更新操作，Spli...
大数据NiFi（十八）：离线同步MySQL数据到HDFS
Lansonli（蓝深李）的博客
02-13 735
案例：使用NiFi将MySQL中数据导入到HDFS中。以上案例用到的处理器有“QueryDatabaseTable”、“ConvertAvroToJSON”、“SplitJson”、“PutHDFS”四个处理器。
nifi连接mysql_使用NiFi将数据从Mysql导入至HBase
weixin_36465618的博客
01-19 393
1. 启动并登录NiFi1.1 在本机启动nifi./bin/nifi.sh start1.2 登录nifi打开浏览器，访问xxx.xxx.xxx.xxx:8080(默认端口是8080)2. 构建Processor2.1 ExecuteSQL拖一个Processor到面板中，选择ExecuteSQL类型在processor上点击右键-->选择configure-->选择properti...
NIFI1.21.0_Mysql到Mysql增量CDC同步中_日期类型_以及null数据同步处理补充---大数据之Nifi工作笔记0057
添柴程序猿的专栏
06-15 1070
具体的,之前已经写过,如何在NIFI中实现MySQL的增量数据同步,但是写的简单了,因为,比如在插入的时候,更新的时候,仅仅是写死的某个表,也就是针对某个表,指定好字段进行插入操作,或者更新操作,这样就有些局限了,比如我想同步一整个库,注意是增量同步,那么,难道我要一张一张表的去创建好了以后,然后我再去一个的同步嘛,比较麻烦,一点点解决.主要是这里的内容,可以看到有一列是日期类型的,那么,需要通过STR_TO_DATE。将日期格式转换可以插入到数据库中的就可以了.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

添柴程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值