啊_汤哥的博客

分享,开源,尊重他人付出

spark on yarn 原理、资源分配、优化等收集

一、集群使用注意点: 1、跑的任何job,最好都要加上有意义的job name,不要使用默认的名字hive on spark; 2、job应尽可能的少用集群资源达到理想的效果,而不是有多大用多大来提高性能; 二、spark on yarn 原理篇: 参考博客 三、资源分配篇: 参考1 参考2 参考...

2018-12-20 17:05:35

阅读数 17

评论数 0

Phoenix优化

文章转载自:http://outofmemory.cn/code-snippet/7879/Phoenix-performance-tuning Phoenix性能优化 一.建表优化 Salting 翻译成中文是加盐的意思,本质是在hbase的rowkey的byte数组的第一个字节位置设定一...

2018-08-15 16:07:15

阅读数 56

评论数 0

OLAP 玩转KYLIN 步十四 为什么使用Hive View

本篇内容大部分参考自文章《Kylin实践之使用Hive视图》 为什么需要使用视图 Kylin在使用的过程中使用hive作为cube的输入,但是有些情况下,hive中的表定义和数据并不能满足分析的需求,例如有些列的值需要进行处理,有些列的类型不满足需求,甚至有时候在创建hive表时为了图方便...

2018-04-03 16:39:07

阅读数 217

评论数 0

OLAP 玩转KYLIN 步十三 官方案列实战之查询

cube build成功后,我们就可以进行相关查询了,我们可以用kylin的web UI 来写SQL进行查询,也可以用kylin提供的查询接口来查询,并自定义自己的展示方式,也可以与现有的第三方系统集成,完成数据的查询展示。 cube的查询web UI如图所示: ...

2018-04-03 15:47:25

阅读数 140

评论数 0

OLAP 玩转KYLIN 步十二 官方案列实战之build cube

Cube 创建之后,我们就可以对其进行build,下面将介绍build过程中涉及的一些操作。 如下图所示,点击Build,即开启cube的创建: 具体的创建过程及进度,可在Monitor菜单下查看,如下图: 如果上图中的Progress一栏进度为绿色100%,则表示cube的bu...

2018-04-03 15:05:35

阅读数 133

评论数 0

OLAP 玩转KYLIN 步十一 官方案列实战之创建Cube之最后一课

经过前面几节讲解cube的创建,终于我们迎来了最后一步,保存cube的创建,如图: 创建完成cube并不是工作的结束,只有build cube完成,才算是达到了我们查询的目的,但这时候仍然离终极解决方案有些距离。如何优化cube减少数据的膨胀率,如何配置参数,优化build的性能,这些都...

2018-04-03 13:58:04

阅读数 109

评论数 0

OLAP 玩转KYLIN 步十 官方案列实战之创建Cube之Configuration Overwrites

在kylin的安装目录 下的conf/kylin.properties 文件中有许多控制影响kylin执行的参数配置项; 其中有些是全局配置,即一个运行中的kylin进程,全局参数一旦设定,运行过程中只以全局参数的配置为准,不会运行中被改变; 有些则是与某个 Cube 相关的配置参数,这些配置可以...

2018-04-03 13:45:47

阅读数 213

评论数 0

OLAP 玩转KYLIN 步九 官方案列实战之创建Cube之Advanced Setting

紧接上一节数据刷新设置完毕,点击Next,便进入Advanced Setting设置界面。 首先,第一项设置聚合组,如图: 合理的聚合组设置,既可以满足查询的需求,也可以优化cube的构建,让我们先理解概念,再谈如何优化。 聚合组既将一个Cube的所有维度根据业务需求划分成若干组(当...

2018-04-02 19:49:54

阅读数 186

评论数 0

OLAP 玩转KYLIN 步八 官方案列实战之创建Cube之数据刷新设置

紧接步七,我们就进入了cube数据刷新设置的界面,如图: 这里的设置目前包含“Auto Merge Thresholds”、“Volatile Range”、“Retention Threshold”、“Partition Start Date”。 “Partition Start Dat...

2018-04-02 18:17:28

阅读数 500

评论数 0

OLAP 玩转KYLIN 步七 官方案列实战之创建Cube之设计度量

紧接上一节,我们继续来看Cube创建的又一关键点,设计度量。 进入度量添加界面,Kylin默认会为我们创建一个Count(1)的度量,避免不必要的麻烦,不要对其做修改或删除。如图: 点击上图中的+Measure便可以添加我们自己的度量。 Kylin支持的度量有:SUM、MIN、MAX...

2018-04-02 16:19:28

阅读数 495

评论数 2

OLAP 玩转KYLIN 步六 官方案列实战之创建Cube之维度的选择

上一节,我们创建了一个Model,现在在其之上,我们就可以开始Cube的创建。 如下图所示,按标注的数字顺序点击,打开cube创建界面: 选择上一节创建完成的Model,命名我们的cube,填写描述信息,点击Next,继续: 接下来进入关键一步,cube的维度选择。 操作之...

2018-04-02 13:56:41

阅读数 323

评论数 0

OLAP 玩转KYLIN 步五 官方案列实战之创建Model

有了表信息之后,就可以开始创建数据模型(Data Model)了。数据模型是Cube的基础,有了数据模型以后,定义Cube的时候就可以直接从此模型定义的表和列中选择需要的维度列及度量列。 为什么需要Model? 我们假设不用建Model,直接定义Cube,那如果有两个cube1、cube2,他...

2018-03-30 16:40:58

阅读数 272

评论数 0

OLAP 玩转KYLIN 步四 官方案列实战之hive与kylin间的表同步

Project创建完成后,我们的下一步就是要同步表。若要在kylin中使用OLAP 玩转KYLIN 步二 官方案列实战之介绍涉及的表中提到的各张表,需要先将表从hive同步到kylin中,步骤如下: 按下图标记的数字顺序点击 点击表所在的数据库,在数据库展开的表列表中点击选择需要同步的表,...

2018-03-30 14:08:21

阅读数 286

评论数 0

OLAP 玩转KYLIN 步三 官方案列实战之创建Project

不同的查询需求,可以创建不同的Project,就像文件系统的目录一样。创建Project很简单,步骤如下: 打开Apache Kylin的Web UI,点击Model,点击下图‘+’,创建Project,如图: 命名project,填写项目描述,点击提交,完成创建: 如下图,可以...

2018-03-29 19:38:24

阅读数 157

评论数 0

OLAP 玩转KYLIN 步二 官方案列实战之介绍涉及的表

接下来我将从kylin的官方案例开始循序渐进的开始kylin的学习。 案例涉及的表的描述 (1)KYLIN_SALES 该表保存了销售订单的明细信息。每一行对 应着一笔交易订单。 根据事实表的定义:事实表(Fact Table)是指存储有事实记录的表...

2018-03-29 18:10:53

阅读数 168

评论数 0

OLAP 玩转KYLIN 步一 万丈高楼平地起

教程假定kylin系统已被负责运维的人员安装部署完成,使用kylin的人员无需关心系统的运行及配置问题。 工欲善其事,必先必知必会 kylin设计原理,必知 kylin概念术语,做到深刻理解,方便优化cube的构建 维度(Dimension) 维度基数 度量(Measure) M...

2018-03-29 14:32:43

阅读数 179

评论数 0

Java反射

1.java中获得Class对象的三种方式    1)使用Class类的forName静态方法,该方法需要传入字符串参数,其值是某个类的全限定类名    2)调用某个类的class属性来获取该类对应的Class对象,如Person.class    3)调用某个对象的getClass方法,该...

2016-06-24 18:57:00

阅读数 75

评论数 0

Java类加载

1.Java类加载指的是将class文件读入内存,并为之创建一个java.lang.Class的对象。 2.java初始化类或接口的时机:    1) 创建类实例,通过new或反射或反序列化创建类实例    2) 调用类的静态方法    3) 访问类或接口的静态属性,或为静态属性赋值    4) ...

2016-06-24 13:27:43

阅读数 69

评论数 0

Java对象与垃圾回收

1.垃圾回收机制只负责回收堆内存中的对象。 2.垃圾回收机制回收任何对象之前,总会调用它的finalize方法,该方法可能使该对象复活,从而使垃圾回收机制取消回收。 3.对象在堆内存中有三种状态: 激活状态:即有一个或以上引用变量引用该对象 去活状态:即没有任何引用变量引用该对象,这时垃圾回收机制...

2016-06-21 14:40:58

阅读数 91

评论数 0

Java枚举类

1.枚举类可以实现一个或多个接口,用enum关键字定义枚举类,默认继承java.lang.Enum类,而不是继承Object类,其中java.lang.Enum类实现了java.lang.Serializable和java.lang.Comparable两个接口。 2.枚举类的构造器只能用pri...

2016-06-19 21:49:10

阅读数 55

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭