不多说,直接上干货!
Kudu1.1.0
新特性
python API升级,具备JAVA C++client一样的功能(从0.3版本直接升级到1.1),主要的点如下:
1.1. 改进了Parial Row的语义
1.2. 增加了range partition支持
1.3. 提供了 scan api
1.4. 增强predicate支持
1.5. 支持所有kudu的类型,包括datetime.datetime转化成UNIXTIME_MICROS
1.6. 支持修改表(alter)
1.7. scanner可以读取快照数据
1.8. 支持scanner副本选择
1.9. python
1.10. 一些bug的修复
为了优化过滤,增加了IN LIST predicate pushdown的支持(即匹配一列中一个集合的数据,predicate push down类似于hbase的协处理器coprocessors),有些过滤在后台执行。spark、mr和impala query的此项功能还没有完成。
为了便于查错,Java client增加了client-side请求追踪。原先只有最终的错误日志,没有导致最终错误其他日志信息。
优化和改进
kudu发布了spark2.0(编译于scala2.11)的JAR。
通过配置java client可以从最近的副本读取数据,而不是原先的从leader副本读取数据。不过默认还是后者,可以通过设置scanner builder replicaSelection参数来调整。
Tablet server采用一种新策略来维护write-ahead