![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
多维分析
文章平均质量分 65
MOLAP(MONDRIAN)+ROLAP(KYLIN)
仔仔1993
java,大数据,多维分析,知识图谱
展开
-
Zookeeper原理解析
zookeeper角色 领导者:负责发起投票与系统状态更新,完成集群写操作与数据同步 ...原创 2020-09-13 12:32:00 · 78 阅读 · 0 评论 -
Elasticsearch高级查询
##########################高级查询 子条件查询:特定字段查询所指定值 1.Query context 在查询过程中,除了判断文档是否满足...原创 2018-03-29 09:59:00 · 60 阅读 · 0 评论 -
ES原理与应用
1.搜索引擎知识和相关框架 搜索目的:从海量数据中获取想要的信息 传统做法: 1.文档中使用find功能 2.mys...原创 2018-03-28 19:49:00 · 84 阅读 · 0 评论 -
sqoop纠错
############################################################### #####sqoop向mysql导数报...原创 2018-03-01 10:52:00 · 51 阅读 · 0 评论 -
sqoop增量导入
核心参数 –check-column 用来指定一些列,这些列在增量导入时用来检查这些数据是否作为增量数据进行导入,和关系型数据库中的自增字段及时间戳类似....原创 2018-02-23 13:28:00 · 80 阅读 · 0 评论 -
sqoop操作hive,mysql性能测试
注:前提不屑露公司信息 1、从MySQL同时写HIVE与HDFS数据 1.1、R Ø 数据量:36万 Ø 字段数:6 Ø 写入耗时:46s ...原创 2018-02-09 18:51:00 · 88 阅读 · 0 评论 -
数据仓库建设实例
注:前提不泄露公司信息 1.维表事实表设计 2.源表 2.1 数据导入 connect="xxx" username="xxx" passwo...原创 2018-02-09 19:18:00 · 136 阅读 · 0 评论 -
kettle使用笔记(hive,hbase性能测试篇)
注:老规矩不泄露公司信息 Mysql数据库连接 主机名或 IP 地址: xxxxx 端口: xxx 数据库:xxxxx 用户名: xxxxxx 保存密码...原创 2018-02-07 18:47:00 · 193 阅读 · 0 评论 -
kettle操作mysql,hive,hbase,phoenix性能测试(使用笔记性能测试部分补充和更新)...
注:前提不泄露公司信息 Mysql数据库连接 主机名或 IP 地址: xxx 端口: xxx 数据库:xxx 用户名: xxxx 保存密码: xxxx...原创 2018-02-09 18:45:00 · 96 阅读 · 0 评论 -
OLAP基础
联机实时分析(OnlineAnalytical Processing, OLAP (/ˈoʊlæp/))技术是快速响应多维分(Multidimensionalanal...原创 2018-02-09 18:14:00 · 166 阅读 · 0 评论 -
kettle使用笔记(安装连接篇)
首先声明:此文秉承不泄露公司信息的原则 1 Kettle安装与基本概念 1.1 安装介绍 测试完之后发现6.0版本最稳定。本文采用的版本为pdi-ce-6...原创 2018-01-26 18:27:00 · 157 阅读 · 0 评论 -
kettle使用笔记(操作Hadoop篇)
注:老规矩,不泄露公司信息 5 kettle与Hadoop 5.1 mysql与hive数据操作 5.1.1 mysql到hive 对于将关系型数据库...原创 2018-02-07 18:41:00 · 150 阅读 · 0 评论 -
kettle使用笔记(mysql操作篇)
注:老规矩在不泄露公司信息的前提下操作 4 kettle与mysql 4.1 mysql-mysql数据操作 4.1.1 全库迁移 此操作的目的是一次...原创 2018-02-07 18:22:00 · 102 阅读 · 0 评论 -
kettle使用笔记(ETL篇)
老规矩:秉承不泄露公司信息的原则(kettle操作hadoop,敬请期待) 3 ETL操作 3.1 数据抽取 面对不同的数据源,kettle对不同的数据源...原创 2018-01-26 19:06:00 · 188 阅读 · 0 评论 -
kettle取数与sqoop取数性能对比
因为sqoop底层调用的是mapreduce,所以小数据量性能会受到限制。 十万,百万。千万级别kettle有优势。 亿级别的数据sqoop优势明显。 ...原创 2018-01-26 18:18:00 · 300 阅读 · 0 评论 -
kettle表输入不支持对phoenix的upsert语法
将源码文件下载下来,然后判断jdbc连接串,如果包含phoenix,则生成upsert语句,否则是insert语句。 需要更改的jar包,kettle-engine...原创 2018-01-26 18:14:00 · 141 阅读 · 0 评论 -
phoenix的client.jar包会与kettle冲突
######phoenix的client驱动jar包会与hdfs冲突,导致往hdfs写文件报错,同时也会影响kettle对hbase的直接连接 1.org.apach...原创 2018-01-26 18:02:00 · 155 阅读 · 0 评论 -
Mondrian遇到的坑
#######################mondrain schema4.0 1.元素<physicalShema>必须要有:指定cube涉及到设事...原创 2018-05-16 17:35:00 · 99 阅读 · 0 评论 -
MDX对filter函数对维度进行过滤的使用说明
查看维度的信息,需要使用维度name.currentmember.name/value 进行过滤的时候,需要考虑filter作用域的问题,第一个参数一定要包含c...原创 2018-06-27 10:32:00 · 465 阅读 · 0 评论 -
mondrian支持的sql函数oracle和postgresql实现以及深度功能实现
##########分组字段实现 在schema的physicalschema中的columnDefs中采用SQL自定义一列,使用case when <Calc...原创 2018-05-24 17:21:00 · 79 阅读 · 0 评论 -
MONDRIAN使用心得
##############mondrain 四个manager Session Manager:最为重要的一个部分。接受MDX查询、解析MDX,返回结果。 ...原创 2018-05-16 17:32:00 · 85 阅读 · 0 评论 -
多维数据表达式MDX笔记
#####概述 1. MDX(Multidimensional Expression)支持多维对象和数据的定义和操作。不是SQL的拓展。 2. MDX查询都要求有se...原创 2018-05-02 17:33:00 · 434 阅读 · 0 评论 -
MDX常用函数
MDX支持的主要函数 注意: 1. 红色表示常用函数。 2. 详细用法和功能介绍见:https://blog.csdn...原创 2018-05-16 17:30:00 · 339 阅读 · 0 评论 -
MondrianSchema编写心得
MondrianSchema编写心得 1. Mondrian是什么? Mondrian是一个用Java成的OLAP引擎。它实现了MDX语言、XML解析、...原创 2018-04-26 21:16:00 · 83 阅读 · 0 评论 -
Kylin 设置邮件报警、用户管理和自定义数据源切换
Kylin 设置邮件报警、用户管理和自定义数据源切换 任务报警邮件设置 在Apache Kylin中,构建一个Cube往往至少需要花费几十分钟的时 ...原创 2018-07-06 19:54:00 · 153 阅读 · 0 评论 -
KYLIN访问远程hive和hbase环境
KYLIN访问远程hive和hbase环境 思路:在kylin服务器上配置所需环境的client;包括hadoop,hive,hbase 准备远程hado...原创 2018-09-11 11:52:00 · 160 阅读 · 0 评论 -
Mondrain支持kylin问题解决
Mdx select {[MEASURES].[UNITPRICE],[MEASURES].[NUMBER]} on columns, {[CUSTOMER].[G...原创 2018-07-10 19:38:00 · 185 阅读 · 0 评论 -
KYLIN&GP性能测试
KYLIN性能测试报告 版本信息 系统/软件名 版本 centos CentOS ...原创 2018-07-26 11:46:00 · 105 阅读 · 0 评论 -
kettle操作phoenix,强行中断造成死锁
######mysql-phoenix数据量太大且列很多的时候,速度很慢,如果中断kettle任务的话,会造成kettle资源库锁死。 Couldn't execut...原创 2018-01-26 17:45:00 · 453 阅读 · 0 评论 -
kettle对phoenix操作
######phoenix的client驱动jar包会与hdfs冲突,导致往hdfs写文件报错,同时也会影响kettle对hbase的直接连接 org.apache....原创 2018-01-26 17:41:00 · 129 阅读 · 0 评论 -
kettle直接操作hbase时的性能优化
###mysql-hbase写入熟读慢 注意:传输数据优化 1. 写入hbase之前,建表的时候要进行预分区 2. 预读mapping 3. 加大写...原创 2018-01-26 17:43:00 · 102 阅读 · 0 评论 -
kettle连接hbase
1.在本地hosts配置集群的ip和主机名 2.配置hbase-site.xml的url,如果kettle安装在window上,需在前面加上file:/// ...原创 2018-01-26 17:03:00 · 95 阅读 · 0 评论 -
一个未预期的错误发生在Spoon: probable cause:在停止Spoon前,请先关闭其它spoon窗口!...
kettle操作hbase 通过kettle将hdfs上的txt文件导入hbase的时候,HbaseOutput保存mapping信息的时候会报错: 申明:第一张...原创 2018-01-26 16:45:00 · 1332 阅读 · 0 评论 -
Kylin集群部署和cube使用
Kylin集群部署和cube使用安装集群环境 节点 Kylin节点模式 Ip 内存 磁盘 Node1 All 192.167.71.11 2G 80G Node2 ...原创 2018-12-20 15:18:45 · 418 阅读 · 0 评论 -
Kylin设置JDBC配置greenplum数据源
kylin最开始的时候支持hive和kafka作为数据源,从2.3.0版本之后开始支持JDBC作为第第三种数据源。用户可以自定义的数据库或者数据仓库到自己的kylin集群。比如,mysql,postgresql,greenplum等。支持原理需要了解到的是,kylin设置完jdbc作为数据源,是通过sqoop来实现的,他并不是摒弃了底层的hive,而是使用sqoop将你配置的数据源的数据抽取到...原创 2018-12-20 15:17:14 · 1267 阅读 · 2 评论