kudu介绍和使用

kudu架构

同hdfs和Hbase相似,kudu使用单个的master节点，用来管理集群的元数据，并且使用任意数量的tablet server节点来存储实际数据。

可以部署多个master节点来提高容错性，一个table表的数据，被分割成一个或多个tablet,tablet被部署在 tablet server来提高数据读写服务

Kudu有列长度限制，不能超过64k

不支持CHAR、VARCHAR、DATE和数组等复杂类型。

不能通过ALTER TABLE更改现有列的类型和是否可为空属性

DECIMAL类型列的精度和规模不能通过ALTER TABLE进行修改（Kudu 1.7+才支持decimal类型）

kudu使用

kudu是一个折中产品平衡了hbase的随机读写和hdfs的批量分析的性能
可以通过Impala的shell对kudu表进行交互式操作

内部表和外部表

内部表由impala管理，当从impala删除时,数据和表确实被删除

外部表（create external table）不受impala管理，删除此表不会从kudu上删掉，它智只会删除掉impala和Kudu之间的映射

创建内部表

create table test(
 	id bigint,
 	name string,
	 primary key(id)
)
partition by hash partitions 16
stored as kudu;

说明：建表时partition by... stored as kudu是必须要有的

kudu表基于partition方法被拆分成多个分区，每一个分区就是一个tablet,一张Kudu表所属的所有tablet均匀分布并存储在tablet servers的磁盘上，同时要指定primary key作为partition的依据

kudu的分区方法有两种：partition by hash 和 partition by range

分区方法

基于hash的方法的分区的基本原理：
   基于parimary key的Hash值将每个row划分到相应的tablet中，分区的个数即tablet的个数要在建表语句中指定
   如果未指定以某个字段的Hash值进行分区，默认以主键的hash值进行分区

insert语句

kudu表支持两种Insert语句
insert into test_kudu values(2,'lisa'),(3,'anna');
Insert into test_kudu select * from other_table;

update语句

kudu表的update操作不能更改主键的值，其它与标准sql语法相同

upsert语句（重点）

upsert into table test_kudu values(5,'lili')
如果指定的values中的主键在test_kudu表中已经存在，就执行update语义，反之执行insert语句

UPSERT into table testdb.tablemy_first_table(id,name)
  SELECT id,name from testdb.kudu_table where id=2

delete语句

同标准sql语法相同

注意：
kudu的原生api中，update和upsert必须根据主键来操作，

如果使用impala来操作kudu表，where后面的条件可以任意，可以不是根据主键，impala会自己转化成主键

kudu不支持修改表结构的语句

详情：https://blog.csdn.net/cdxxx5708/article/details/79074489

修改表

修改表名，修改的只是impala的映射名
alter table test_kudu rename to cc_kudu;

修改kudu存储的表名，是不会修改在impala中的映射名的，也就是在impala中访问的依然是更改之前的名字
ALTER TABLE kudu_person SET TBLPROPERTIES('kudu.table_name' = 'new_name');

kudu注意点

3、创建 Kudu 表时，CREATE TABLE 语句必须在主键顺序中包含其他列之间的主键列。
4、包含 UNIXTIME_MICROS 类型列的kudu表不能用作 Impala 中的外部表。
5、Impala 不能使用 TIMESTAMP ， DECIMAL ， VARCHAR 或嵌套类型的列创建 Kudu 表。
6、Impala 无法更新主键列中的值。
7、NULL，NOT NULL，!= 和 LIKE 谓词不会被推送到 Kudu ，而是会被 Impala 扫描节点评估。这可能会降低相对于其他类型谓词的性能。
8、通过 Impala 的更新，插入和删除是非事务性的。如果查询部分失败，其部分效果将不会回滚。
9、单个查询的最大并行度仅限于表中的 tablets 数量。为了获得良好的分析性能，每个主机可以使用10个或者更多tablets。