NiFi集成Hive版本问题

最新推荐文章于 2024-05-09 05:42:03 发布
最新推荐文章于 2024-05-09 05:42:03 发布
阅读量566 收藏
点赞数
分类专栏： NiFi 文章标签： hadoop hive 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46466052/article/details/108801510
版权

使用CDH的集成Hive和NiFi1.12.0集成使用时，一致在报错
Required field ‘client_protocol’ is unset! Struct:TOpenSessionReq
这个错误很大可能就是jdbc和Hive的版本不匹配。

遇到问题

这里nifi使用的版本是1.12.0，nifi1.4.0起就不再和hive1.1.0兼容了，而CDH默认是安装Hive1.1.0。因此会产生兼容性的问题，会报一个版本问题的错。
Required field ‘client_protocol’ is unset!
完整错误如图
在这里插入图片描述

两个思路，要么换用低版本的NiFi处理器，要么Hive升级。

NiFi多版本兼容

Hive升级是比较麻烦的，NiFi的nar包复制过来重启就可以直接使用，比较方便。可惜我这里没有找到兼容Hive1.1.0的对应nar包，小于1.4.0版本的nar包都会无法识别版本。

这里先讲一下使用替换nar包的方法兼容。
apache官方提供的nar包下载路径
选择所需要的版本&

最低0.47元/天 解锁文章
weixin_46466052
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
NIFI的使用——MongoDB到Hive
Nancy的博客
06-25 2426
Nifi 是一个开源的数据处理工具，可以通过简单的Processor对数据流进行处理。本文以MongoDB数据同步至Hive为例，介绍Nifi的使用配置： 1、MongoDB数据源 本测试环境在MongoDB中创建了一个名为nancy的数据库和名为names的表，表中有13条数据，每条数据包含“name”和“_id”字段，数据如下： 2、NIFI处理器 用NIFI把MongoDB的数据...
NIFI -- 文件数据写入hive
qq_25794453的博客
11-01 5842
目的： nifi在国内的使用相对较少，也有一些博客介绍了一些nifi的概念，但是nifi里面processor的种类非常之多，文档对于每个processor功能描述相对单薄。而且有些地方解释的含含糊糊，说白了，就是还是有点使用门槛的。本文直接上实际的例子。可以供大家参考。一些涉及到的知识点不会细讲。nifi使用背景： 希望借助nifi监控某个目录，能够将被监控目录下的数据文件采集
NiFi数据流实践：Mysql CDC To Hive
邢为栋
07-13 1431
NiFi数据流实践：实时获取Mysql CDC数据，写入HDFS/Hive。NiFi版本：1.22.0。NiFi官方文档提供了详细的概念说明和使用说明，耐心通读一遍，就可以快速上手开发NiFi数据流。
最新NiFi【部署 01】NiFi最新版本1(2)，2024网络安全开发面试解答
最新发布
2401_84297265的博客
05-09 603
这个方向初期比较容易入门一些，掌握一些基本技术，拿起各种现成的工具就可以开黑了。对于从来没有接触过网络安全的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。费时一周整理的160+网络安全面试题，金九银十，做网络安全面试里的显眼包！web页面将无法访问。对于有1-3年工作经验，想要跳槽的朋友来说，也是很好的温习资料！对于从来没有接触过网络安全的同学，我们帮你准备了详细的。内的用户名已经修改，密码是加密后的。，大家跟着这个大的方向学习准没问题。
Nifi读取Hive中数据然后再写入新Hive数据库表操作
周源的专栏
08-23 6461
方案1： SelectHiveQL -> PutHiveStreaming 个人配置设置了Hive集群环境： hive.txn.manager = org.apache.hadoop.hive.ql.lockmgr.DbTxnManagerhive.compactor.initiator.on = truehive.compactor.worker.threads > 0hive
8、NIFI综合应用场景-NiFi监控MySQL binlog进行实时同步到hive
05-29
Apache NiFi是一款强大的数据流处理工具，常用于构建复杂的数据集成解决方案。在本场景中，我们将探讨如何使用NiFi来实时监控MySQL数据库的binlog（二进制日志），并将其中的变更事件同步到Hive数据仓库。由于Hive的...
7、NIFI综合应用场景-将mysql查询出的json数据转换成txt后存储至HDFS中
05-29
Apache NiFi是一个强大的数据处理和自动化工具，常用于构建数据集成流程。在本文中，我们将探讨一个具体的NIFI应用场景，即如何将从MySQL数据库中查询得到的JSON数据转换成TXT格式，并存储到HDFS（Hadoop分布式文件...
9、NIFI综合应用场景-通过NIFI配置kafka的数据同步
05-29
在Nifi与Kafka的集成中，Nifi可以作为数据的生产者将数据发送到Kafka，同时也可以作为消费者从Kafka中消费数据，实现了高效的数据同步。 **1、处理器说明** 在Nifi中，有两个关键的处理器涉及到与Kafka的交互： -...
5、NiFi FileFlow示例和NIFI模板示例
05-29
在实际应用中，结合NIFI应用场景的案例，如离线同步MySQL数据到HDFS，将JSON转换为TXT存储，或者实时同步MySQL binlog到Hive，NiFi都可以作为数据集成的关键组件，实现高效、可靠的数据流动和处理。 总之，Apache ...
hive同步工具需要的jar.rar
04-10
虽然Hive本身不提供ETL功能，但可以与其他ETL工具（如Apache Nifi、Kettle或Informatica）集成，这些工具的Java库可能也在压缩包中。 5. **Java编程**：使用Java编写数据同步工具是因为其跨平台的特性，以及丰富的...
nifi hive 到mysql_NiFi使用总结 一 hive到hive的PutHiveStreaming processor和SelectHiveQL
weixin_39933082的博客
02-05 320
我说实话，NiFi的坑真的挺多的。。。1、PutHiveStreaming processor的使用该控制器配置需要hive启用事物；且目前只支持orc格式，且建表需要分桶，开启事务等，建表示例如下：create tabletest_trancaction(user_id Int,name String)clustered by (user_id) into 3bucketsstoredas or...
nifi mysql hive_Nifi入门
weixin_32661017的博客
02-06 447
NiFi基本概念概述简单地说，NiFi是为了自动化系统之间的数据流而构建的。虽然术语“数据流”在各种环境中使用，但我们在此处使用它来表示系统之间自动化和管理的信息流。这个问题空间一直存在，因为企业有多个系统，其中一些系统创建数据，一些系统消耗数据。已经讨论并广泛阐述了出现的问题和解决方案模式。企业集成模式 中提供了一个全面且易于使用的表单。NiFi的诞生，要致力于解决的问题：因为网络故障、磁盘故障...
报错：org.apache.thrift.TApplicationException: Required field 'client_protocol' is unset!
qq_36231887的博客
09-30 4911
我用的sbt来管理的spark项目，我所需要的jar包都放到了lib目录下，我用jdbc的方式去连接hive。本地测试一点毛病没有。但是！！！发布到服务器上，就报错：org.apache.thrift.TApplicationException: Required field ‘client_protocol’ is unset! 于是我就百度谷歌，原因是我项目中的hive-jdbc版本与远程hi...
nifi将hive同步到oracle,NiFi使用总结 一 hive到hive的PutHiveStreaming processor和SelectHiveQL...
weixin_30581253的博客
04-09 444
我说实话，NiFi的坑真的挺多的。。。1、PutHiveStreaming processor的使用该控制器配置需要hive启用事物；且目前只支持orc格式，且建表需要分桶，开启事务等，建表示例如下：create tabletest_trancaction(user_id Int,name String)clustered by (user_id) into 3bucketsstoredas or...
nifi 从mysql数据中读取数存入hive中
aiyinsitan215的专栏
06-25 2268
1、在hive中创建一张外部表 create external table news2(id string,title string,url string,content string) row format delimited fields terminated by '\t'; 之前的想法是从mysql读取数据，将数据转为json，再用ConvertJSONToSQL 转为hive ...
nifi写数据到hdfs&hive查询hdfs
Jibo12138的博客
10-21 888
场景：监听服务器某个文件夹下的内容，当出现新文件时，就将文件的内容动态添加到hdfs中，并用hive读取 第一步，nifi监听并并将数据写入hdfs nifi采用的版本是1.11.4，采用的processor包含两个：putHDFS与getFile，getFile主要目的是监听某个特定文件夹，如果有新增的文件就将文件中的内容写入到hdfs。这里以一个电影的测试数据集为例，主要包含id、title和genres三个字段，文件格式为csv格式。 需要配置getFile...
nifi 读取mysql_nifi 从mysql数据中读取数存入hive中
weixin_34236334的博客
01-19 522
1、在hive中创建一张外部表create external table news2(id string,title string,url string,content string) row format delimited fields terminated by '\t';之前的想法是从mysql读取数据，将数据转为json，再用ConvertJSONToSQL 转为hive sql 存入h...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值