Nifi读取Hive中数据然后再写入新Hive数据库表操作

最新推荐文章于 2023-09-04 23:22:21 发布
最新推荐文章于 2023-09-04 23:22:21 发布
阅读量6.4k 收藏 3
点赞数
分类专栏： Nifi 文章标签： Nifi读取Hive中数据然后再写入Hi
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ZhouyuanLinli/article/details/77505173
版权
本文介绍了使用Nifi从Hive读取数据，然后将数据写入新Hive数据库表的两种方案。方案一通过SelectHiveQL和PutHiveStreaming，配置了Hive的ACID Transactions和ORC存储格式。方案二涉及多个Nifi处理器，包括SelectHiveQL、ConvertAvroToJSON、SplitJson、EvaluateJsonPath、ReplaceText和PutHiveQL，最终成功将数据插入到Hive中。
摘要由CSDN通过智能技术生成

注：新hive数据库表已提前SQL操作建立

方案1：

SelectHiveQL -> PutHiveStreaming

个人配置设置了Hive集群环境：

  • hive.txn.manager = org.apache.hadoop.hive.ql.lockmgr.DbTxnManager
  • hive.compactor.initiator.on = true
  • hive.compactor.worker.threads > 0
  • hive.support.concurrency=true
最低0.47元/天 解锁文章
源神
关注
专栏目录
大数据NiFi（二十）：实时同步MySQL数据到Hive
Lansonli（蓝深李）的博客
02-26 6962
连接关系中，我们这里只关注“insert”和“update”的数据，后期获取对应的属性将插入和更新的数据插入到Hive表中，对于“delete”的数据可以路由到其他关系中，例如需要将删除数据插入到另外的Hive表中，可以再设置个分支处理。登录mysql ,使用“mynifi”库，创建表“test2”。以上获取的tablename名称为“test2”，后面这个sql是要将数据插入到Hive中的，所以这里在Hive中也应该创建“test2”的表名称，或者将表名称写成固定表，后期在Hive中创建对应的表即可。
大数据NiFi（十九）：实时Json日志数据导入到Hive
Lansonli（蓝深李）的博客
02-23 3006
如果所提供的JsonPath计算为指定的值，JSON的返回类型可以返回"scalar"。当一次性向tail的文件输入多条数据，我们不希望全部json行内容替换成第一行json内容，那么可以将“TailFile”处理器处理的数据直接传递给“ConvertRecord”处理器，将数据由json格式转换成自定义文本格式数据，再传递到“PutHDFS”处理器即可，所以解决以上问题，我们这里复用之前的“TailFile”和“PutHDFS”处理器即可，下面只需要配置“ConvertRecord”处理器即可。
NIFI -- 文件数据写入hive
qq_25794453的博客
11-01 5905
目的： nifi在国内的使用相对较少，也有一些博客介绍了一些nifi的概念，但是nifi里面processor的种类非常之多，文档对于每个processor功能描述相对单薄。而且有些地方解释的含含糊糊，说白了，就是还是有点使用门槛的。本文直接上实际的例子。可以供大家参考。一些涉及到的知识点不会细讲。nifi使用背景： 希望借助nifi监控某个目录，能够将被监控目录下的数据文件采集
NiFi数据流实践：Mysql CDC To Hive
邢为栋
07-13 1588
NiFi数据流实践：实时获取Mysql CDC数据，写入HDFS/Hive。NiFi版本：1.22.0。NiFi官方文档提供了详细的概念说明和使用说明，耐心通读一遍，就可以快速上手开发NiFi数据流。
nifi-hive to oracle
永无止境
06-26 1034
最近在项目中需要用nifi抽取hive数据到oracle中，hive是配置了kerberos认证的，使用SelectHiveQL处理器，配置如下： 另外需要配置这2个控制服务： 最后在写数据到oracle中，采用putsql处理大数据量的时候会很慢，后决定采用PutDatabaseRecord，配置如下： 附上完整的流程： ...
NiFi集成Hive版本问题
strelizia
09-25 603
使用CDH的集成Hive和NiFi1.12.0集成使用时，一致在报错 Required field ‘client_protocol’ is unset! Struct:TOpenSessionReq 这个错误很大可能就是jdbc和Hive的版本不匹配。 遇到问题 这里nifi使用的版本是1.12.0，nifi1.4.0起就不再和hive1.1.0兼容了，而CDH默认是安装Hive1.1.0。因此会产生兼容性的问题，会报一个版本问题的错。 Required field 'client_protocol' i
nifi mysql hive_Nifi入门
weixin_32661017的博客
02-06 458
NiFi基本概念概述简单地说，NiFi是为了自动化系统之间的数据流而构建的。虽然术语“数据流”在各种环境中使用，但我们在此处使用它来表示系统之间自动化和管理的信息流。这个问题空间一直存在，因为企业有多个系统，其中一些系统创建数据，一些系统消耗数据。已经讨论并广泛阐述了出现的问题和解决方案模式。企业集成模式 中提供了一个全面且易于使用的表单。NiFi的诞生，要致力于解决的问题：因为网络故障、磁盘故障...
8、NIFI综合应用场景-NiFi监控MySQL binlog进行实时同步到hive
05-29
5. **数据写入Hive**：最后，使用`HiveMetastoreClientService`服务和`PutHiveQL`处理器将转换后的数据写入Hive表。由于Hive的写入效率问题，可以考虑先将数据写入HDFS，然后使用批处理任务（如Hive的`INSERT ...
用nifi把hdfs数据导到hive
weixin_34347651的博客
08-22 321
全景图：     1. ListHDFS & FetchHDFS: ListHDFS:   FetchHDFS:   2. EvaluateJsonPath: {"status": {"code":500,"message":"FAILED","detail":"DTU ID not exists"}} 如果json里有数组，需要先用SplitJson分隔：    
NIFI的使用——MongoDB到Hive
Nancy的博客
06-25 2464
Nifi 是一个开源的数据处理工具，可以通过简单的Processor对数据流进行处理。本文以MongoDB数据同步至Hive为例，介绍Nifi的使用配置： 1、MongoDB数据源 本测试环境在MongoDB中创建了一个名为nancy的数据库和名为names的表，表中有13条数据，每条数据包含“name”和“_id”字段，数据如下： 2、NIFI处理器 用NIFI把MongoDB的数据...
NiFi使用总结 一 hive到hive的PutHiveStreaming processor和SelectHiveQL
weixin_30663471的博客
11-26 837
我说实话，NiFi的坑真的挺多的。。。 1、PutHiveStreaming processor的使用 　　具体配置可参考：https://community.hortonworks.com/articles/88309/using-puthivestreaming-processor-in-nifi.html 　　该控制器配置需要hive启用事物；且目前只支持orc格式，且建表需要分桶，开...
NIFI实现JSON转SQL并插入到数据库表中
最新发布
浩瀚蓝天dep的博客
09-04 1582
说明：博主的NIFI是使用docker安装的，容器的数据全部挂载到了宿主机中，NIFI的HOME默认是在/opt/nifi/nifi-current，挂载到宿主机的路径为：/root/data/nifi/nifi-current。这里跳过测试，如果需要测试自己的配置是否正确的，可以自行将处理器和LogAttribute处理器进行连接进行测试，以下是博主自己的测试结果，做个参考，最后面会打印生成的SQL语句。再次双击处理器，配置Statement Type，选择INSERT，代表生成的是INSERT语句。
nifi hive 到mysql_NiFi使用总结 一 hive到hive的PutHiveStreaming processor和SelectHiveQL
weixin_39933082的博客
02-05 344
我说实话，NiFi的坑真的挺多的。。。1、PutHiveStreaming processor的使用该控制器配置需要hive启用事物；且目前只支持orc格式，且建表需要分桶，开启事务等，建表示例如下：create tabletest_trancaction(user_id Int,name String)clustered by (user_id) into 3bucketsstoredas or...
nifi写数据到hdfs&hive查询hdfs
Jibo12138的博客
10-21 917
场景：监听服务器某个文件夹下的内容，当出现新文件时，就将文件的内容动态添加到hdfs中，并用hive读取 第一步，nifi监听并并将数据写入hdfs nifi采用的版本是1.11.4，采用的processor包含两个：putHDFS与getFile，getFile主要目的是监听某个特定文件夹，如果有新增的文件就将文件中的内容写入到hdfs。这里以一个电影的测试数据集为例，主要包含id、title和genres三个字段，文件格式为csv格式。 需要配置getFile...
nifi 从mysql数据中读取数存入hive中
aiyinsitan215的专栏
06-25 2290
1、在hive中创建一张外部表 create external table news2(id string,title string,url string,content string) row format delimited fields terminated by '\t'; 之前的想法是从mysql读取数据，将数据转为json，再用ConvertJSONToSQL 转为hive ...
nifi 读取mysql_nifi 从mysql数据中读取数存入hive中
weixin_34236334的博客
01-19 538
1、在hive中创建一张外部表create external table news2(id string,title string,url string,content string) row format delimited fields terminated by '\t';之前的想法是从mysql读取数据，将数据转为json，再用ConvertJSONToSQL 转为hive sql 存入h...
nifi将mysql数据导到hdfs_用nifi把hdfs数据导到hive
weixin_39562185的博客
01-28 127
全景图：1. ListHDFS & FetchHDFS:ListHDFS:FetchHDFS:2. EvaluateJsonPath:{"status": {"code":500,"message":"FAILED","detail":"DTU ID not exists"}}如果json里有数组，需要先用SplitJson分隔：3. RouteOnContent:4. ReplaceTe...
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值