kylin问题记录

1、kylin可以先全量cube再增量cube吗

回答：不可以；要么全量，要么增量

解决方案：建立两个mode，在增量mode中的Model Designer的最后一步Settings来添加分割时间列;再建立两个cube---一个相同的全量cube和一个相同的增量cube(有时间分割)

 

我正在尝试使用现有的Hbase表创建和集成Hive表。它创建了一个蜂巢表。但是当我尝试查询hive表时，它会抛出以下异常，尤其是当列数超过数量时。

我检查了hbase和hive中的＃列相同。没有得到适当的解决方案来调试它

 RuntimeException MetaException(message:org.apache.hadoop.hive.serde2.SerDeException org.apache.hadoop.hive.hbase.HBaseSerDe: columns has 196 elements while hbase.columns.mapping has 122 elements (counting the key if implicit))

根本原因：

对于4000个字符，hive Metastore中SERDE_PARAMS表中PARAM_VALUE字段的字符限制是此问题的根本原因。此限制可防止Hive创建具有高列数的表，最终导致desc或select * from失败并出现上述错误。

解决方法：通过在hive Metastore中执行以下操作可以解决此问题

在mysql中执行

alter table SERDE_PARAMS MODIFY PARAM_VALUE VARCHAR(400000000);

删除hive表：drop table  ***_external_all

重新再建一次hive与hbase整合的hive外部表语句

再次执行sql：

select count(1) from ***_external_all

执行结果：

cube时快照过大会报错：

kylin.snapshot.max-mb 默认300mb  参数设置大点