大数据
正义的键盘
这个作者很懒,什么都没留下…
展开
-
数据中台漫谈 — 数据接入
谈谈数据中台的大门口,数据接入系统。设计数据接入系统,首先不应该只局限于怎么将数据接入,而要根据整个中台的数据流向来综合考虑。从数据中台的最终目标来看,数据中台的使命是实现价值数据流 抑或是为其他业务系统提供价值数据流。所以简单点来说,就是业务系统或者最终指标需要什么类型的数据,我就需要将这部分数据接入进来。但更深层次的问题在于,接入的数据是抽象的,是来源多样的。接入系统的设计就会和存储结构,也就是“接入”这部分的终点—数据湖有关。所以湖的设计,应该是需要能基本hold住所有的类型或者结构的数原创 2020-10-20 16:25:34 · 5228 阅读 · 0 评论 -
apache kylin的一些注意事项(解决kylin报错Storage schema reading not supported)
1.目前我所使用的kylin版本为2.6.2,有时在完成一次构建后会出现fail to locate kylin.properties的异常,如图所示经排查,定位到kylin源码中的org.apache.kylin.engine.mr.common.AbstractHadoopJob中的loadKylinPropsAndMetadata方法,如图所示我发现在执行cube构建任...原创 2019-10-28 11:18:28 · 2852 阅读 · 4 评论 -
Apache Kylin2.6.2安装文档
Apache Kylin-2.6.2安装文档官网:https://archive.apache.org/dist/kylin/根据hadoop版本和hbase版本选择对应的安装包kylin需要依赖hive,对应的hive版本需要到github上https://github.com/apache/kylin 选择对应的branch后再到.pom文件中查看对应hive的dependency版本...原创 2019-10-28 10:44:58 · 729 阅读 · 0 评论