Apache Nifi

2.3.3 数据接入类处理器单元
ConvertJSONToSQL

ConvertJSONToSQL处理器单元可以将结构化的Json转换成INSERT或者UPDATE这样命令的SQL,配合PutSQL处理器单元可以直接根据这鞋命令将数据插入数据库中。

上面的图中表示Processor根据输入的FlowFile的JSON内容,将JSON转化成Update的SQL语句。
ExecuteSQL

ExecuteSQL处理器单元直接运行运行用户配置的SQL查询语句,并将查询结果以Avro的格式写入到FlowFile的内容中去。

上面的图中表示Processor根据用户配置SQL select query语句,从数据库中查询出结果,并将结果FlowFile映射到success的relationship中。
PutSQL

PutSQL处理器单元可以根据传入的FlowFile内容中的DDM SQL对数据库进行更新操作。

上面的图中表示Processor根据输入的FlowFile的SQL内容,每100个SQL作为一个事务提交数据库,并将生成的Key返回且在事务提交失败的情况下对事务进行回滚。
SelectHiveQL

SelectHiveQL处理器单元执行Hive的查询语句HiveQL,并且将结果以Avro或者CSV的格式写入到FlowFile中。

上面的图中表示Processor根据HiveQL语句查询Hive,并将结果以CSV格式输出,CSV拥有Header为username和age。
PutHiveQL
PutHiveQL处理器根据传入的HiveQL DDM语句对Hive数据仓库的内容进行更新。上面的图中表示Processor根据输入的FlowFile中的HiveQL往Hive中写入或者更新数据。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值