yanqi_vip

一、概述：背景### --- 背景~~~ Apache Kudu是由Cloudera开源的存储引擎，~~~ 可以同时提供低延迟的随机读写和高效的数据分析能力。~~~ Kudu支持水平扩展，使用Raft协议进行一致性保证，~~~ 并且与Cloudera Impala和Apache Spark等当前流行的大数据查询和分析工具结合紧密。~~~ ...

一、Kudu的架构### --- Kudu架构~~~ 与HDFS和HBase相似，Kudu使用单个的Master节点，用来管理集群的元数据，~~~ 并且使用任意数量的Tablet Server节点用来存储实际数据。可以部署多个Master节点来提高容错性。二、Master：Kudu.Master架构### --- Kudu的mast...

一、安装和运行### --- 安装前提和准备~~~ # 硬件：~~~ 一台或者多台机器跑kudu-master。~~~ 建议跑一个master(无容错机制)、~~~ 三个master(允许一个节点运行出错)或者五个master(允许两个节点出错)。~~~ 一台或者多台机器跑kudu-tserver。当需要使用副本，至少需要三个节...

一、KuDu常用Api(java)：创建maven工程：kudu_project### --- 在pom.xml下添加依赖 <dependencies> <dependency> <groupId>org.apache.kudu</groupId> <artif...

一、KuDuApi常用操作：插入数据### --- 插入数据~~~ # 思路：~~~ 获取客户端~~~ 打开一张表~~~ 创建会话~~~ 设置刷新模式~~~ 获取插入实例~~~ 声明带插入数据~~~ 刷入数据~~~ 应用插入实例~~~ 关闭会话~~~ # AUTO_...

一、KuDuApi常用操作：更改数据### --- 编程代码实现：更改表数据：和插入数据类似package com.yanqi.kudu.api;import org.apache.kudu.client.*;public class updateDemo { public static void main(String[] args) { K...

一、Flink下沉数据到kudu### --- Flink下沉数据到kudu~~~ # 思路：~~~ 自定义下沉器 ： extends RichSinkFunction### --- 数据源：new UserInfo("001", "Jack", 18),new UserInfo("002", "Rose", 20),new UserInfo(...

一、kudu表设计(扩展)### --- kudu表设计~~~ Tablet是kudu表的水平分区，类似于google Bigtable的tablet，或者HBase的region。~~~ 每个tablet存储着一定连续range的数据(key)，且tablet两两间的range不会重叠。~~~ 一张表的所有tablet包含了这张表的所有key空间...

七、Handling mutations against on-disk files### --- Handling mutations against on-disk files~~~ 更新或者删除已经flush到disk的数据，不会操作MemRowSet。~~~ 它的处理过程是这样的:为了确定update/delete的key在哪个RowSet里，系统将...

NO：Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart ...