1. Hive版本迭代

2.3.x版本

对应Hadoop 2.x.y版本

  • 2.3.0 (2017.07.17)
    • 从 HiveServer2 中移除没必要的 HMS(HiveMetaStore) 连接。(例如运行一个hql,如果有多个task就会开启多个HMS connection,但是如果这些task开启了parallel,那么有些 HMS connection 是没有必要的)
    • 分区 distinct 函数支持 order by 和 windowing clause ??
    • 添加udf nullif: nullif(exp1, exp2) 相当于case when exp1 = exp2 then null else exp1
    • 支持select语句中的struct类型字段的列修剪
      s:struct<a:int, b:boolean, c:array>
      select s.a from tblfo
    • 支持 merge 语法操作待看
    • 增加元数据更新时候的数据校验
    • 支持 Intersect (distinct/all) Except (distinct/all) Minus (distinct/all)
    • 为ParquetRecordReaderWrapper实现StatsProvidingRecordReader
    • 支持像 show tables 那样 show views
    • orderBy支持字段位置语法
  • 2.3.1 (2017.10.24)
  • 2.3.2 (2017.11.18)
  • 2.3.3 (2018.04.03)
  • 2.3.4 (2018.11.07)
  • 2.3.5 (2019.05.14)
  • 2.3.6 (2019.08.23)
  • 2.3.7 (2020.04.18)
3.x.y版本

对应Hadoop版本 3.x.y

  • 3.0.0 (2018.05.21)
    • 实现 INFORMATION_SCHEMA
    • 通过 HCatalog 实现 Parquet
    • hive支持 ‘like any’ 和 ‘like all’ 操作
    • 对uniontype的支持
    • 实现 multiargument GROUPING 功能
    • 元数据存储占用大量时间,进行元数据缓存操作
    • 建表时支持 ‘UNIQUE’ 和 ‘Not null’ 限制
    • 默认 acid2.0
    • LockManager只锁 Managed tables
    • 在 acid 中支持非桶表
    • 让metastore成为一个可独立发布的模块
    • 支持默认关键字 insert 和 update
    • 支持 acid tables 中添加分区
    • 支持 export/import acid tables
  • 3.1.0 (2018.07.30)
  • 3.1.1 (2018.11.01)
  • 3.1.2 (2019.08.26)
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
目录 第一部分 Spark学习 ....................................................................................................................... 6 第1章 Spark介绍 ................................................................................................................... 7 1.1 Spark简介与发展 ...................................................................................................... 7 1.2 Spark特点 .................................................................................................................. 7 1.3 Spark与Hadoop集成 ................................................................................................ 7 1.4 Spark组件 .................................................................................................................. 8 第2章 Spark弹性分布数据集 ............................................................................................... 9 2.1 弹性分布式数据集 .................................................................................................... 9 2.2 MapReduce数据分享效率低..................................................................................... 9 2.3 MapReduce进行迭代操作 ........................................................................................ 9 2.4 MapReduce进行交互操作 ...................................................................................... 10 2.5 Spark RDD数据分享 ............................................................................................... 10 2.6 Spark RDD 迭代操作 .............................................................................................. 10 2.7 Spark RDD交互操作 ............................................................................................... 10 第3章 Spark安装 ................................................................................................................. 11 第4章 Spark CORE编程 ....................................................................................................... 13 4.1 Spark Shell ........................................................

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值