Hbase版本信息对比0.98.4-2.0.0
目前大数据集群的Hbase主要版本为0.98.4,版本日期为2014.8.12。为了适应大数据的不断发展和更新换代,特此分享Hbase主要版本信息,为版本升级做准备。
版本信息
原始版本:0.98.4
版本日期:2014.8.12
第三方版本信息:HDP2.2.6
目标版本:2.0.0
版本日期:2018.5.4
第三方版本信息:CDH6.0.1
Release 0.99.0
Date:2014年9月22日
新特性
[HBASE-4089] - blockCache 内容报告
e.g.
table1
cf1 100 blocks, totalBytes=yyyyy, averageTimeInCache=XXXX hours
cf2 200 blocks, totalBytes=zzzzz, averageTimeInCache=XXXX hours
[HBASE-6104] -要求EXEC许可来调用处理器节点
[HBASE-7667] - Support stripe compaction
[HBASE-7840] -加强了开启、关闭分布式hbase和hadoop的java框架
[HBASE-8751] -启用peer cluster从源集群复制表或列族。
[HBASE-9047] -对离线集群的复制处理工具
[HBASE-10119] -失败的时候,允许HBase协处理器来清理
[HBASE-10151] - No-op HeapMemoryTuner
[HBASE-10416] - Improvements to the import flow
[HBASE-10881] - Support reverse scan in thrift2
[HBASE-10935] -支持快照策略,可以跳过flush内存,以防生产集群冻结
[HBASE-11724] - Add to RWQueueRpcExecutor the ability to split get and scan handlers
[HBASE-11885] -提供一个Dockerfile轻松地从源代码构建和运行HBase
[HBASE-11909] - Region count listed by HMaster UI and hbck are different
Release 0.99.1
Date:2014年10月15日
新特性
[HBASE-11990] -使设置一个特定前缀的启动和停止行更容易(setRowPrefixFilter)
[HBASE-11995] -尽可能使用Connection和ConnectionFactory(相对HConnection和HConnectionManager)
[HBASE-12127] -将核心Connection创建函数移入ConnectionFactory
[HBASE-12133] - Add FastLongHistogram for metric computation
[HBASE-12143] –从HConnection到Connection,Table.java去除未使用的import和更新注释。
Release 0.99.2
Date:2014年12月7日
新特性
[HBASE-8707] - Add LongComparator for filter
[HBASE-12286] - [shell]增加了新的loadConfig用于在线加载配置修改(update_config ‘servername’;update_all_config)
[HBASE-12361] -在table页显示部分Data Locality
[HBASE-12496] - blockedRequestsCount是由于mem大小比blockingMemStoreSize大,而为requests blocked计数的方法
Release 1.0.0
Date:2015年2月20日
新特性
[HBASE-9531] -检索复制指标和显示复制滞后的命令行(hbase shell)接口
> status ‘replication’
> status ‘replication’,‘source’
> status ‘replication’,‘sink’
> status ‘replication’,‘lag’
[HBASE-10560] - Per cell TTLs
[HBASE-12709] - [mvn]不包括命令行标记,增加单元测试到构建
mvn test -Dtest.exclude.pattern=/TestFoo.java,/TestBar.java
[HBASE-12731] - Heap occupancy based client pushback
hbase.heap.occupancy.low_water_mark
hbase.heap.occupancy.high_water_mark
Release 2.0.0
Release 2.0.0 - Unreleased (as of 2018-04-22)
新特性
HBASE-19950 ColumnValueFilter Minor Filters
ColumnValueFilter提供了一种方法来匹配获取细胞,只通过提供指定的列,价值和比较器,这是不同于SingleValueFilter,通过匹配单元抓取整个行。
HBASE-19844 [shell]增加一个flush by regionserver的方法到admin
HBASE-19886 在shell, web UI中显示maintenance mode
hbase - 16008介绍了维护模式。这种模式由hbck控制。用这种方式拆分一个balancing是禁用 的。通过shell,web UI提供这些信息给用户将是有用的。
HBASE-19528 Major Compaction Tool
工具允许你在给定的时间压缩给定的并发regionservers集群。工具成功完成所有的压缩请求,不管region移动,拆分和合并。(Table、Stores、ClusterConcurrency、Timestamp)
HBASE-19897 RowMutations should follow the fluent pattern
ops,包括put、delete、get、scan,有fluent接口。同时,返回类型从Void更改为RowMutations,这将不会打破BC API(除非有人对void感兴趣……)
HBASE-4224 需要flush regionserver而不是table选项
HBASE-15321 从hdfs快照中打开HRegion的能力
HRegion.openReadOnlyFileSystemHRegion()提供了从只读hdfs快照打开HRegion的能力。因为hdfs快照是只读的,没有cleanup时使用这个API。
HBASE-19799 Add web UI to rsgroup
启用RSGroup特性时,没有web ui来显示RSGroup的细节。我们只能通过shell命令查看rsgroup的细节,这是不方便的。这个问题将为rsgroup添加一个web ui,用以显示每个rsgroup的统计数据和细节。
HBASE-19326 Remove decommissioned servers from rsgroup
在hbase - 18131,我们添加一个hbase shell命令clear_deadservers,它可以清除ServerManager列表中的deadserver。但rsgroup仍然包含这些dead server,所以我们也应该删除dead server的组信息(group information)。
HBASE-18131 增加一个hbase shell命令来清除ServerManager列表中的deadserver。
list_deadservers|clear_deadservers
HBASE-19189 Ad-hoc test job for running a subset of tests lots of times
ad-hoc jenkins job:在一个循环中运行一个或多个测试直到循环失败并保存日志
HBASE-19103 Add BigDecimalComparator for filter
如果存储为BigDecimal值,且过滤扫描时需要添加一个值的匹配比较器,那么可以使用BigDecimalComparator。
HBASE-18171 对异步client扫描cursor
HBASE-18875 Thrift server 支持只读模式
Start server时使用-ro选项或设置hbase.thrift.readonly为true。(仅get/scan可用)
HBASE-14417 Incremental backup and bulk loading
HBASE-15806 一个基于终端的导出工具org.apache.hadoop.hbase.coprocessor.Export
Dump表内容到HDFS sequence file中
HBASE-14135 HBase Backup/Restore Phase 3: Merge backup images合并备份映像
只支持增量映像,且只支持相同的备份目标
hbase backup merge backup_143126764557,backup_143126764456
HBASE-15134 增加对flush和压缩队列的可见性
HBASE-15968 New behavior of versions considering mvcc and ts rather than ts only
设置NEW_VERSION_BEHAVIOR为true,Mutation的顺序很重要。复制将会扰乱默认条目。所以必须在slave cluster中启用serial replication
HBASE-15943 增加页面展示JVM过程指标(Process Metrics – mostly jvm – )
HBASE-17928 清除压缩队列的shell工具(clear_compaction_queues)
Examples:
hbase> clear_compaction_queues ‘host187.example.com,60020’
hbase> clear_compaction_queues ‘host187.example.com