SelectHiveQL

有很多同学跟我反映  博客里的很多图都没了,真的很抱歉;

目前CSDN这里的博客不会再维护了,关于NIFI的文章会陆续在

https://nifichina.gitee.io

https://nifichina.github.io   

以及公众号更新

顾名思义,就是查询hive的,可以返回csv或avro,做好配置理论是可以查询输出任意大的结果集;

配置:

Hive Database Connection Pooling Service:HiveConnectionPool

HiveQL Pre-Query: 查询HiveQL执行前的的 语句,比如set tez.queue.name=queue1; set hive.exec.orc.split.strategy=ETL; set hive.exec.reducers.bytes.per.reducer=1073741824

HiveQL Select Query:需要被执行的HiveQL,如果没设置,则执行流中的HiveQL;

HiveQL Post-Query:查询HiveQL执行后的的 语句;注意这些查询结果是不输出到流的;

Fetch Size:每次从结果集中拉取的数据数量

Max Rows Per Flow File:每个输出流中最大的数据数量;即一个结果集可以输出多个流;

Maximum Number of Fragments:碎片的最大数量。如果指定的值为零,则返回所有片段。这可以防止这个处理器在摄取巨大的表时出现OutOfMemoryError错误。

Output Format: csv   avro

Normalize Table/Column Names:是否将列名中的非avro兼容字符更改为avro兼容字符。例如,冒号和句点将更改为下划线,以构建有效的Avro记录。

CSV Header:在输出中是否包含标题

Alternate CSV Header:用逗号分隔的csv header 字段

CSV Delimiter:分隔符

CSV Quote:是否强制引用CSV字段。注意,这可能与CSV转义的设置冲突。

CSV Escape:是否在输出中转义CSV字符串。请注意,这可能与CSV引号的设置冲突。

Character SetUTF-8:UTF-8

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值