2017年01月_DataGPT

11月 09月 08月 07月 06月 04月 03月 02月 01月

原创 Kylin 1.6.0进行Streaming Cube构建时的问题总结

在使用Kylin从Kafka来进行Streaming Cubing时，构建过程中出现如下错误：从这个步骤的日志中简单显示：killed by admin 如果无法知道具体原因，那么我们可以从Yarn的作业中来查看：进入到MR作业中，查看具体日志为：MAP capability required is more than thesupported max container capability

2017-01-20 15:04:16 2947

原创基于Cloudera Manager配置Impala的资源管理

Impala包含一些特性，可以在CDH集群中平衡和最大化资源。本章将说明如何使用Impala提升CDH集群的利用效率。创建静态服务池使用静态服务池可以给Impala和其他服务分配专用的资源，以考虑到预计的资源需求。静态服务池将服务彼此隔离开来，因此一个高负载的服务对其他服务的影响是有限的。你可以使用CM来配置静态服务池，控制内存，CPU和磁盘I/O。 l HDFS通常最少需要5-10%的资源

2017-01-17 16:02:13 9819

原创 Apache Kylin高级部分之使用Hive视图

本章节我们将介绍为什么需要在Kylin创建Cube过程中使用Hive视图；而如果使用Hive视图，能够带来什么好处，解决什么样的问题；以及需要学会如何使用视图，使用视图有什么限制等等。 1. 为什么需要使用视图Kylin创建Cube的过程中使用Hive的表数据作为输入源。但是有些情况下，Hive中的表定义和数据并不能满足分析的需求，例如有些列的值需要进行处理，有些列的类型不满足需求，甚至

2017-01-05 20:22:44 8051