Hive中虚拟列

参考自:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+VirtualColumns

在hive中直接可以直接使用。

INPUT__FILE__NAME

maptask中的输入文件

BLOCK__OFFSET__INSIDE__FILE

记录在文件中的偏移量

应用场景

查找记录所在的文件位置及偏移量

select line  ,INPUT__FILE__NAME ,BLOCK__OFFSET__INSIDE__FILE
from  temp_test_vitural_column
where line like '%df5f5388967697a6%' ;  

结果：
20170823230242 /home/test/filter_result/combinelog_merge_filter_uniq/tmp_test/20170823/part-m-07635 12183296
20170823230242 /home/test/filter_result/combinelog_merge_filter_uniq/tmp_test/20170823/part-m-07634 12183278