shell获取hive查询数据结果_使用shell+awk完成Hive查询结果格式化输出

好久不写，一方面是工作原因，有些东西没发直接发，另外的也是习惯给丢了，内因所致。今天是个好日子，走起！

btw，实际上这种格式化输出应该不只限于某一种需求，差不多是通用的。

需求：

--基本的：当前Hive查询结果存在数据与表头无法对其的情况，不便于监控人员直接查看，或者导出到excel中，需要提供一个脚本，将查询结果处理下，便于后续的查看或者操作。

--额外的：A、每次查询出来的结果字段数、字段长度不固定；B、每个数据文件中可能包含不只一套查询结果，即存在多个schema。

想法：

对于基本需求而言，无非就是将数据文件用格式化输出整理一下，直接想到了awk。

对于补充的情况，A：需要实现一种机制，基于数据文件，动态地确定格式化输出的参数：字段个数，以及每个格式化字符串的长度参数；B：实现对数据文件根据字段数切割成多段，然后对于每段数据套用前面的脚本处理。

做法：

基本需求：

1、指定字段分隔符为“\t”

2、将每个字段按照指定长度格式化输出

1 BEGIN{2 FS="\t"

3 }4 {5 printf "%-"len"s\t",$i6 }

额外需求A：

需要把代码写成“活”的，适应各种不同的数据文件，如前面所说，实际上就是在执行格式化输出之前，将数据文件扫描一遍，用一个数组记录下文件中每个字段的max

length，然后将这个max length作为该文件内格式化输出的额定宽度。

1、初始化一个fieldLen数组

2、扫描整个文件，更新fieldLen数组

3、将fieldLen数组，用于格式化输出

1 BEGIN{2 FS="\t"

3 }4 NR==1{5 for (i=1;i<=NF;i++)6 fieldLen[i]=0

7 }8 {9

10 for (i=1;i<=NF;i++)11 {12 len=length($i)13

14 if (len>fieldLen[i])15 {16 fieldLen[i]=len17 }18 }19

20 }21

22 END{23 for (i=1;i<=NF;i++)24 {25 printf "%-s",fieldLen[i]26 if (i

28 else

29 printf "