named_struct

一个很老的小萌新

于 2024-01-25 19:11:31 发布

阅读量395

点赞数 6

文章标签： sql

本文链接：https://blog.csdn.net/dhq15800562693/article/details/135849203

版权

本文介绍了如何在CSDN博客中使用`named_struct`类型进行HadoopSQL查询，涉及到了从`adm_intltrn_res_global_domestic_line_hotdata`表中提取数据并以ORCFILE格式导出的过程，重点在于结构化数据的处理和实时更新通知的配置。

摘要由CSDN通过智能技术生成

参考：named_struct类型怎么用-CSDN博客

set -eu
sh datax_run.sh \
  -src hdfs \
  -srcdb ads_trnintldb \
  -srctblnames adm_intltrn_res_global_domestic_line_hotdata \
  -querys "select  to_json(named_struct(
    
    'data_domain',data_domain   
    ,'type',type      
    ,'period'  ,period
    ,'channel' ,channel
    ,'departure_location_code_country_code'  ,departure_location_code_country_code
    ,'departure_location_name' ,departure_location_name
    ,'arrival_location_code_country_code'  ,arrival_location_code_country_code  
    ,'arrival_location_name',arrival_location_name
    ,'id_cnt' ,id_cnt
    ,'rank_no'  ,rank_no
    ,'departure_location_code'  ,departure_location_code
    ,'arrival_location_code'    ,arrival_location_code
    
    
    )) as body from adm_intltrn_res_global_domestic_line_hotdata WHERE d = '${zdt.format("yyyy-MM-dd")}' " \
  -tar qmq \
  -writer_subject "train.triptrain.line.station.order.update.notify" \
  -tarcolorders "body" \
  -qps 100 \
 -exportfileformat ORCFILE