![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
我看不见你的代码了
希望每一天都在提升自己
展开
-
Hive中分区表及陷阱
Hive中分区表及陷阱分区表分区表实际就是对应hdfs文件系统上的的独立的文件夹,该文件是夹下是该分区所有数据文件。分区可以理解为分类,通过分类把不同类型的数据放到不同的目录下。分类的标准就是分区字段,可以一个,也可以多个。分区表的意义在于优化查询。查询时尽量利用分区字段。如果不使用分区字段,就会全部扫描。在查询是通过where子句查询来指定所需的分区。样例create exter...原创 2019-05-09 10:32:29 · 267 阅读 · 0 评论 -
Hive中的桶表入门(适用于抽样查询)
1、基本概念 (1)桶表是对某一列数据进行哈希取值以将数据打散,然后放到不同文件中存储。 (2)在hive分区表中,分区中的数据量过于庞大时,建议使用桶。 (3)在分桶时,对指定字段的值进行hash运算得到hash值,并使用hash值除以桶的个数做取余运算得到的值进行分桶,保证每个桶中有数据但每个桶中的数据不一定相等。 &nbs...原创 2019-05-09 10:44:04 · 122 阅读 · 0 评论 -
CDH-HIVE启动 metastore报错 Error creating transactional connection
第一步检查 hive.site.xml的元数据库地址是否正确第二步检查 $hive_home/lib 是否有数据库驱动包 具体目录根据报错的日志观看第三步 重启 hive --service metastore启动若出现Exception in thread “main” org.apache.thrift.transport.TTransportException: Could not...原创 2019-05-07 15:11:52 · 1449 阅读 · 0 评论