- 博客(2)
- 收藏
- 关注
RSS订阅原创 hive中的NULL(hive空值处理)
HIVE中默认将NULL存为\N，可以在线上用hadoop fs -cat查看源文件，文件中存储大量\N， 这样量大会浪费大量空间。如果用java、python操作源数据时要注意解析。 另外，hive表的源文件中默认，列分隔符为\001(SOH)，行分隔符为\n（目前只支持\n，别的不能用，所以定义时不需要显示声明）。元素间分隔符\002，map中key和value的分隔符为\003。
2016-05-19 10:27:45
39415
2
原创 hive分区partition（动态和静态分区混合使用; partition的简介）
分区是hive存放数据的一种方式。将列值作为目录来存放数据，就是一个分区。这样where中给出列值时，只需根据列值直接扫描对应目录下的数据，不扫面其他不关心的分区，快速定位，查询节省大量时间。分动态和静态分区两种动态分区1）不显示的给出分区名，根据列的取值自动建立对应分区（多少种取值，多少种分区），所以需要限制最大分区数： SET hive.exec.dynamic.partition=t
2016-05-18 19:41:22
13909
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人