Hive入门

1.HIve是一个基于Hadoop的数据仓库

2.HIve是高延迟的,如果要低延迟用HBase。Hive不能对表数据进行更新、删除、插入,只能追加或重新导入。

3.Hive可以建立索引,索引本身就是一张表,索引并不能提高性能,只能减少资源消耗。如果资源充足,不用考虑。

4.如果要提高查询速度可以考虑分区与俑。

5.hive本身不存储数据与计算。完全依赖于HDFS与Mapreduce,Hive只是一个逻辑表。


内外表区别:

 1.删除内表时,内表数据会一并删除;
 2.删除外表时,外表数据依旧存在。

分区与理解:

1.分区是表下的一个目录,多分区就是表下游多个目录。分区的作用就是辅助查询、减少查询范围。select查询时会扫描整表内容,有时我们只关注的部分数据,这是就可以使用分区。

例如:

a、单分区建表语句:create table day_table (id int, content string) partitioned by (dt string);单分区表,按天分区,在表结构中存在id,content,dt三列。这是实际数据存储会按天分区。(按天生成文件夹)

b、 双分区建表语句:create table day_hour_table (id int, content string) partitioned by (dt string, hour string);双分区表,按天和小时分区,在表结构中新增加了dt和hour两列。

先以dt为文件夹,再以hour子文件夹区分

2.对于每一个表或者分区都可以进一步组织成桶。桶可以提高某些查询的效率如Jion,提高某些查询的效率

分桶其实就是把大表化成了“小表”,然后 Map-Side Join 解决之。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值