有很多同学跟我反映 博客里的很多图都没了,真的很抱歉;
目前CSDN这里的博客不会再维护了,关于NIFI的文章会陆续在
以及公众号更新
顾名思义,就是查询hive的,可以返回csv或avro,做好配置理论是可以查询输出任意大的结果集;
配置:
Hive Database Connection Pooling Service:HiveConnectionPool
HiveQL Pre-Query: 查询HiveQL执行前的的 语句,比如set tez.queue.name=queue1; set hive.exec.orc.split.strategy=ETL; set hive.exec.reducers.bytes.per.reducer=1073741824
HiveQL Select Query:需要被执行的HiveQL,如果没设置,则执行流中的HiveQL;
HiveQL Post-Query:查询HiveQL执行后的的 语句;注意这些查询结果是不输出到流的;
Fetch Size:每次从结果集中拉取的数据数量
Max Rows Per Flow File:每个输出流中最大的数据数量;即一个结果集可以输出多个流;
Maximum Number of Fragments:碎片的最大数量。如果指定的值为零,则返回所有片段。这可以防止这个处理器在摄取巨大的表时出现OutOfMemoryError错误。
Output Format: csv avro
Normalize Table/Column Names:是否将列名中的非avro兼容字符更改为avro兼容字符。例如,冒号和句点将更改为下划线,以构建有效的Avro记录。
CSV Header:在输出中是否包含标题
Alternate CSV Header:用逗号分隔的csv header 字段
CSV Delimiter:分隔符
CSV Quote:是否强制引用CSV字段。注意,这可能与CSV转义的设置冲突。
CSV Escape:是否在输出中转义CSV字符串。请注意,这可能与CSV引号的设置冲突。
Character SetUTF-8:UTF-8