分布式SQL计算Hive实操

1.FineBl 的特点:

通过多人协作来实现最终的可视化构建
不需要通过复杂代码来实现开发,通过可视化操作实现开发
适用于各种数据可视化的应用场景
支持各种常见的分析图标和各种数据源
支持处理大数据

2.对桶内排序的理解:

定义:对桶内的数据根据指定的字段列表进行排序
989931e22537471f80c30a4704311ba6.jpg

语法 :  sorted by(字段1 ascldesc,字段2 ascldesc... )

作用:提升查询的效率(减少在桶内数据的扫描量)、降低 I / O 开销、特定索引的支持

3.了解分桶原理:

 如果没有分桶设置,插入(加载)数据只是简单的将数据放入到:

表的数据存储文件夹中(没有分区)
表指定分区的文件夹中(带有分区)

3ebf7d96a72c45f0bfb97e8f8b8825a1.jpg

 一旦有了分桶设置,当数据插入时,需要一分为多,插入多个桶文件内:

31d39ee639254beda412a68d4833d6a4.jpg

4.理解Hash取模:

1.基于 Hash 算法, Hash 算法是一种数据加密算法,对值进行计算,注意同一个值得到同样的结果。
2.分桶表对分桶字段值 hash 结果进行取模(除以桶数量得到余数),取模结果一样的放到同一个桶文件。
3.同样分桶列的值的数据,会在同一个桶中。

  • 10
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值