nifi将hive同步到oracle,NiFi使用总结 一 hive到hive的PutHiveStreaming processor和SelectHiveQL...

我说实话，NiFi的坑真的挺多的。。。

1、PutHiveStreaming processor的使用

该控制器配置需要hive启用事物；且目前只支持orc格式，且建表需要分桶，开启事务等，建表示例如下：

create tabletest_trancaction

(user_id Int,name String)clustered by (user_id) into 3buckets

storedas orc TBLPROPERTIES ('transactional'='true');

hive的事物配置，hive-site.xml配置添加：

hive.support.concurrency

true

hive.enforce.bucketing

true

hive.exec.dynamic.partition.mode

nonstrict

hive.txn.manager

org.apache.hadoop.hive.ql.lockmgr.DbTxnManager

hive.compactor.initiator.on

true

hive.compactor.worker.threads

1

具体配置：

PutHiveStreaming

SelectHiveQL：

双击，进入config配置：

HiveConnectionPool配置：

勾选自动终止关系类型：可以都选上

选择调度策略：

有三种，常用的有time driven，CRON driven

简单测试使用Run Schedule不要用0秒，不然会一直不停的在写入数据。。。

有关调度策略下篇在做具体说明

运行一下看看：

源数据：

配置好之后右键点击start

过一分钟左右查看插入数据：

条数有可能不止14条，后续再研究调度的程序设置；

到此为止简单实现了hive-hive的配置