Hive读取外表数据时跳过文件行首和行尾

原创于 2017-08-31 17:49:35 发布

· 1k 阅读

2 ·

版权

Hive 专栏收录该内容

6 篇文章

订阅专栏

本文介绍如何使用Hive读取CSV文件时跳过指定的行首和行尾数据，通过设置tblproperties属性“skip.header.line.count”和“skip.footer.line.count”，可以有效过滤掉无关信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

作者：Syn良子出处：http://www.cnblogs.com/cssdongl 转载请注明出处

有时候用hive读取外表数据时，比如csv这种类型的，需要跳过行首或者行尾一些和数据无关的或者自动生成的多余信息，这里可以用属性设置来实现，快速mark下，建表的时候设置如下

Create external table testtable (name string, message string) row format delimited fields terminated by '\t' lines terminated by '\n' location '/user/file.csv' tblproperties ("skip.header.line.count"="1", "skip.footer.line.count"="2");

对，就是上面sql中tblproperties的2个属性

“skip.heaer.line.count” 跳过文件行首多少行

“skip.footer.line.count”跳过文件行尾多少行

注意，这个属性的功能是hive0.13以后的都可以支持

参考资料:

https://issues.apache.org/jira/browse/HIVE-5795