NIFI -- 文件数据写入hive

最新推荐文章于 2024-07-25 11:08:59 发布

一溜烟儿的

最新推荐文章于 2024-07-25 11:08:59 发布

阅读量5.9k

点赞数 1

分类专栏：大数据架构文章标签： nifi hive

本文链接：https://blog.csdn.net/qq_25794453/article/details/78412338

版权

本文介绍了如何使用NIFI监控指定目录并将数据文件写入Hive，涉及PutHiveQL、PutHiveStreaming等Processor。在CDH5.11和nifi1.4环境下，遇到版本不兼容和PutHiveStreaming使用限制等问题，并给出了解决方案，包括替换jar包和调整配置以支持ORC存储格式和分区、分桶。

摘要由CSDN通过智能技术生成

目的：
nifi在国内的使用相对较少，也有一些博客介绍了一些nifi的概念，但是nifi里面processor的种类非常之多，文档对于每个processor功能描述相对单薄。而且有些地方解释的含含糊糊，说白了，就是还是有点使用门槛的。本文直接上实际的例子。可以供大家参考。一些涉及到的知识点不会细讲。

nifi使用背景：
希望借助nifi监控某个目录，能够将被监控目录下的数据文件采集并写入hive中去。nifi提供了PutHiveQL、PutHiveStreaming、PutSQL三种processor，这三种processor对flowfile的要求也不尽相同。本文选用了如下图1所示的几种processor作为功能测试。