大数据NiFi（十八）：离线同步MySQL数据到HDFS

已于 2023-10-23 21:40:31 修改
阅读量741 收藏 9
点赞数 11
文章标签： 大数据 mysql hdfs NiFi
于 2023-02-13 10:17:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoweite1/article/details/129003953
版权
本文介绍了如何使用NiFi将MySQL数据库中的数据离线同步到HDFS。通过配置"QueryDatabaseTable"、"ConvertAvroToJSON"、"SplitJson"和"PutHDFS"四个处理器，实现数据抽取、转换和加载的过程。测试步骤包括在MySQL创建数据、观察各个处理器的队列数据以及验证HDFS中数据的正确性。
摘要由CSDN通过智能技术生成

文章目录

离线同步MySQL数据到HDFS

一、配置“QueryDatabaseTable”处理器

二、配置“ConvertAvroToJSON”处理器

三、配置“SplitJson”处理器

四、配置“PutHDFS”处理器

五、​​​​​​​运行测试

1、在MySQL创建库“mynifi”,并且创建表“test1”，向表中插入10条数据

2、首先启动“QueryDatabaseTable”处理器观察队列数据

3、单独启动“ConvertAvroToJson”处理器观察队列数据

4、单独启动“SplitJson”处理器观察队列数据

5、单独启动“PutHDFS”处理器观察HDFS对应目录数据

离线同步MySQL数据到HDFS

案例：使用NiFi将MySQL中数据导入到HDFS中。

以上案例用到的处理器有“QueryDatabaseTable”、“ConvertAvroToJSON”、“SplitJson”、“PutHDFS”四个处理器。

一、配置“QueryDatabaseTable”处理器

该处理器主要使用提供的SQL语句或者生成SQL语句来查询MySQL中的数据，

了解本专栏 订阅专栏 解锁全文 超级会员免费看
NIFI大数据进阶_实时同步MySql的数据到Hive中去_可增量同步_实时监控MySql数据库变化_操作方法说明_01---大数据之Nifi工作笔记0033
添柴程序猿的专栏
04-17 469
这里的hive configuration也需要配置一下hadoop的配置文件,后面操作的时候我们会说,多个xml文件之间可以使用,号分割。这里是因为nifi,现在已经是支持2版本的hive了,因为我们的hive是1版本的所以要替换一下jar包.然后我们再来看这个puthiveql,其实就是执行hive的ql的,可以看到,也需要一个数据库连接池。再用ReplaceText处理器,将对应的属性数据进行替换,然后把替换后的hive的sql语句进行。然后再来看这里提供通过套接字访问的映射缓存,这个意思就是。
NIFI大数据进阶_离线同步MySql数据到HDFS_说明操作步骤---大数据之Nifi工作笔记0028
添柴程序猿的专栏
04-10 709
convertavrotojson把avro格式转换成json格式,然后再用splitjson,切割json数据,提取json中的数据,到splitjson的自定义属性中,然后再。处理器我们需要这些处理器,首先通过querydatabasetable处理器,查询mysql中的数据,然后,把mysql中的数据,导入到。用puthdfs处理器,提取splitjson切割好的,提取好的数据,拼接到puthdfs的命令中,就可以提交数据到hdfs中了。
nifi将mysql数据导到hdfs_用nifi把hdfs数据导到hive
weixin_42452642的博客
01-26 158
全景图：??1. ListHDFS & FetchHDFS:ListHDFS:?FetchHDFS:?2. EvaluateJsonPath:{"status": {"code":500,"message":"FAILED","detail":"DTU ID not exists"}}如果json里有数组，需要先用SplitJson分隔：??3. RouteOnContent:?4. Re...
Nifi实时同步mysql_【NIFI】 实现数据库到数据库之间数据同步
weixin_31201555的博客
01-27 1678
数据同步界面如下： 具体流程：1、使用ExecuteSQL连接mysql数据库，通过写sql查询所需要的数据2、nifi默认查出来的数据为Avro格式，所以需要ConvertAvroToJSON把Avro格式转化为json格式的数据3、使用ConvertJSONToSQL把json数据转化为sql语句4、使用PutSQL把数据存入数据库。5、同步的数据重复插入数据库，需要对数据进行更新操作，Spl...
Mysql导入数据到HDFS
弱水三千、先干为敬
11-22 1495
1、启动HDFS sbin/start-dfs.sh 2、启动yarn sbin/start-yarn.sh (在resourcemanager节点启动，端口8088) 3、启动zookeeper bin/zkServer.sh start 4、sqoop导入 hdfs会自动创建对应保存路径 bin/sqoop import \ --connect jdbc:mysql://xxx:3306/f...
mysql分批导出到hdfs_将记录从mysql导出到hdfs中
weixin_36437103的博客
02-03 167
将记录从mysql导出到hdfs中01ConnectURL=jdbc:mysql://localhost:3306/user_action0203UserName=root0405PassWord=1234560607OutputPath=/hdfs/recommend/user_action/watch_record0809TableName= watch_record1011Columns=i...
6、NIFI应用场景-离线同步Mysql数据到HDFS中
05-29
6、NIFI应用场景-离线同步Mysql数据到HDFS中 网址：https://blog.csdn.net/chenwewi520feng/article/details/130619480 本文旨在说明将mysql数据同步至HDFS中，并进行验证。阅读本文前最好是阅读本系列的前面文章关于模板中的介绍。 本文的前提依赖是mysql环境有数据、hadoop、nifi、hive、hue环境是搭建好的。如果hue环境没有，则在hdfs中进行验证。 本文分为四部分，即实现流程、使用的处理器介绍、在nifi中操作和验证结果。 ———————————————— 版权声明：本文为CSDN博主「一瓢一瓢的饮 alanchan」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.csdn.net/chenwewi520feng/article/details/130619480
NIFI大数据进阶_离线同步MySql数据到HDFS_01_实际操作---大数据之Nifi工作笔记0029
添柴程序猿的专栏
04-11 703
然后我们实际操作一下如何把mysql中的数据同步到hdfs中去,这里注意,这里是查询mysql中的表中的数据,然后放到。hdfs中去,并不是说,如果mysql数据表中的数据变化了,就自动同步到hdfs,这个功能后面我们再说,这是增量同步。然后设置这个处理器,scheduling,设置定时是9999sec,时间一定要长一点,不能不停的查询,服务器压力大。这里首先我们这里设置,我们json container options这里,我们让解析数据格式,设置成array。
NIFI大数据进阶_离线同步MySql数据到HDFS_02_实际操作_splitjson处理器_puthdfs处理器_querydatabasetable处理器---大数据之Nifi工作笔记0030
添柴程序猿的专栏
04-11 185
首先我们看在export download config下面我们看看,找到对应的配置文件,然后放进来,是因为失败的时候和original,splitjson处理器,如果分割json数据失败的时候,还有。然后我们设置一下连接,设置for relationships,success的时候,数据流转到。因为数据,其实 之前的两条json,包含了每个json,包含了5条 json数据对吧。然后我们准备好了文件以后,然后开始配置就可以了,注意文件之间通过,分隔开就可以了.
6、NIFI综合应用场景-离线同步Mysql数据到HDFS中
热门推荐
alanchanchn的专栏
05-11 5万+
Apache NiFi系列文章 1、nifi-1.9.2介绍、单机部署及简单验证 2、NIFI应用示例-GetFile和PutFile应用 3、NIFI处理器介绍、FlowFlie常见属性、模板介绍和运行情况信息查看 4、集群部署及验证、监控及节点管理 5、NiFi FileFlow示例和NIFI模板示例 6、NIFI应用场景-离线同步Mysql数据到HDFS中 7、NIFI综合应用场景-将mysql查询出的json数据转换成txt后存储至HDFS中 8、NIFI综合应用场景-NiFi监控MySQL bin
NiFi 数据来源
小伙无限帅
07-05 751
数据来源 NiFi 对其摄取的每个数据保持非常精细的细节。当数据通过系统处理并被转换, 路由, 拆分, 聚合和分发到其他端点时, 这些信息都存储在 NiFi 的 Provenance Repository中。为了搜索和查看此信息, 我们可以从全局菜单中选择数据源(Data Provenance)。会弹出一个表格, 列出我们搜索过的 Provenance事件: 此表列出了最近发生的1000个Provenance事件(尽管事件发生后可能需要几秒钟才能处理信息)。在此对话框中, 有一个Search按钮, 允许用
用NIFI 实现数据库之间数据同步-方法二
wawzc1s13的专栏
06-08 827
当前使用Mysql数据库作为例子，本文不涉及NIFI的安装，可以自行搜索两个数据源表结构要事先建好NIFI版本 1.20.0。
NIFI1.21.0_Mysql到Mysql增量CDC同步中_补充_插入时如果目标表中已存在该数据则自动改为更新数据_Postgresql_Hbase也适用---大数据之Nifi工作笔记0058
最新发布
添柴程序猿的专栏
06-17 342
但是还有问题,就是如果插入的时候,这个时候对应id的数据在目标表中已经有了,那么这个时候就应该转为更新,数据自动变成更新数据,才能保持数据的一致性.这里数据在插入的时候,如果源表的字段中,有字段是日期类型的,并且如果有null的,上面这两篇文章都写了如何解决了.对应的更新 删除的话,如果想过滤对应的数据库,以及添加,比如要需要更新的数据在目标表中不存在就 变成插入,也是可以做的.这里19号ReplaceText处理器是用来拼接删除的sql的,很简单之前的博文也有不多说了,然后。
NIFI从MySql中离线读取数据再导入到MySql中_不带分页处理_01_QueryDatabaseTable获取数据_原0036---大数据之Nifi工作笔记0064
添柴程序猿的专栏
04-20 773
我们的sql语句起取了1条对吧,因为我们设置了run schedule,是3秒钟执行一次,所以这里出现了,一堆的数据,但是每个数据好像都是一样的.然后再看convertavrotojson处理器,拖拽过来一个,因为querydatabasetable处理器,查询过来的数据是avro格式的,然后我们设置querydatabasetable处理器的run schedule,大一点,因为这里去查询数据,查一次就可以了,因为我们的sql是写死的这里,所以,如果重复查的话,那么数据是重复的.
NIFI从MySql中增量同步数据_通过Mysql的binlog功能_实时同步mysql数据_根据binlog实现update数据实时同步_实际操作05---大数据之Nifi工作笔记0044
添柴程序猿的专栏
05-06 538
可以看到这个数据已经过来了,我们启动了EvaluateJsonPath处理器,和update对应的ReplaceText处理器,可以看到过来的数据.我们可以去看看内容,对应的sql生成的对不对.可以看到,他包含了,这个表的所有的字段,都有了,太棒了...这样的话,我们就不用纠结,如何动态的更新某个字段了,我们所有的字段可以都进行更新操作,那么,如果没变的话,可以看到....对应的。执行删除也没问题,也被删除了,同步了,太棒了.....现在已经可以增量的去读取数据,删除数据,增加数据,修改数据了...
5、NiFi FileFlow示例和NIFI模板示例
05-29
在实际应用中，结合NIFI应用场景的案例，如离线同步MySQL数据到HDFS，将JSON转换为TXT存储，或者实时同步MySQL binlog到Hive，NiFi都可以作为数据集成的关键组件，实现高效、可靠的数据流动和处理。 总之，Apache ...
尚硅谷大数据技术NiFi教程-笔记02【NiFi（使用案例，同步文件、离线同步mysql数据到hdfs、实时监控kafka数据到hdfs）】
upward
05-15 2020
尚硅谷大数据技术NiFi教程-笔记02【NiFi（使用案例，同步文件、离线同步mysql数据到hdfs、实时监控kafka数据到hdfs）】
nifi将mysql数据导到hdfs_用Nifi 从web api 取数据到HDFS
weixin_35888603的博客
01-28 241
import org.apache.commons.io.IOUtilsimport java.nio.charset.*import java.text.SimpleDateFormat;import java.lang.StringBuilder;import java.util.Calendar;def flowFile = session.create()def days = 10000f...
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Lansonli

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值