zstao168的专栏

原创 saiku乱码问题解决

笔者在使用saiku3.8做二次开发过程曾多次遇到多乱码问题，现将问题及对应解决方法总结如下：问题一：操作系统问题，windows下乱码，linux下正常；笔者按照网友的方法在eclipse中构建saiku开发版的project，完成之后启动tomcat，发现界面中的指标和维度都是乱码如图，在使用各种方法调试之后，依然没能解决，最后打war，上传服务器发现乱码问题解除；如图

原创 saiku权限配置

saiku权限配置是通过mondrian的权限配置实现的，也就是在schema文件简单的配置就能实现，由于对mondrian的权限并没有深入研究，笔者就描述下用到的权限配置；笔者公司的saiku主要用于支持各个业务线的BI、日志等数据的分析，因此按业务线分配多个角色与模块：ROLE_PRODUCT、ROLE_TALK等，这时要求每个角色只能访问器对应业务模块的主题，管理员自然可以访问所有的模块

原创 saiku限制日期查询

saiku在公司内部推广开来之后，得到了产品、运营、策略等同事一致好评，由此带来了一大波需求，就连打点、日志数据的需求都来了，笔者觉得这种数据不适合用来做多维分析，但是迫于公司内部压力，又不得不做，只好硬头皮上了；日志类型的数据每天大概有几个亿条，对kylin的压力太大（目前kylin集群只有3台），由此只好限制用户查询数据时间的跨度；在大数据量的情况下，估计网友也会有这种情况的，由此笔者把自己的

原创 saiku中datasource与schema管理模块源码分析

在saiku中，数据源连接信息与schema文件是非常重要的，saiku可以同时连接多个各种数据源：普通关系型数据库、nosql、hive、kylin等大数据数据源；schema文件则将维度指标映射为MDX语句，最终经mondrian转换为sql在各种数据源上运行；在saiku 2.X版本中datasource与schema是存储在tomcat服务下的目录中的，是真真切切可见可编辑的文本文件，但这

原创 saiku用户登陆模块源码分析

选择saiku的登陆模块做源码分析是因为登陆这个功能比较常见，思路也比较清晰，刚开始比较容易上手，saiku也只是使用一些新的技术或框架，总体上还是遵循登陆功能的一般套路：用户输入用户名与密码，提交到后端做验证，通过，则做权限认证；反之，给前台提示信息；只不过saiku的前端使用了backbone.js，后端使用了spring security等，接下来我们将深入的探讨下saiku登陆模块的前后端

原创 Saiku中的Controller

原创 Saiku中的Service

原创 saiku由H2改入Mysql

saiku社区版的zip包中自带有H2的数据库，该库中主要维护着saiku账户信息（用户名、密码、邮箱、角色等等），而角色通过配置schema可以控制用户可访问到的cube的权限；由于H2数据库维护起来不如mysql方便，而且后期还要集成公司单点系统，所以就要mysql替换H2，当然网上也有很多的解决方法，笔者这一方案与之也有类似之处，在这里记录供网友参考，本方案是经过笔者反复测试验证的，本方案的

原创 saiku集成CAS

最近一直在研究saiku如何集成公司的单点登录系统，通过google、百度搜集查阅了大量的相关资料，并和网友讨论最终在公司内部集成完成，并测试上线；现将这一过程中的经验记录下来，分享给需要的朋友....saiku集成CAS这一过程其实我们可以简单的理解为：用户CAS验证后，我们获取到用户名，并拿该用户登陆saiku，若该用户有saiku访问权限就登陆saiku，反之则不能登陆，返回无权限提示；整个

原创 开篇

最近发生的事情比较多，端午回家过节是个转折点，过完节回来英国退欧，KD转会......几乎每件事对我情绪和内心影响都很深远，钱、情、义，名等等世间永远绕不开这几个话题，我也不想过多的讨论这些，纠结这些，多了让人烦恼无比，还是老办法，时间久了这些会慢慢消散；另一件重要的事情是我的工作重心又重新回到多维分析的课题，时隔一年后再次接触saiku，或许这就是缘分.....SAIKU觉得

转载 Echarts后台option对象

最近在工作中使用到了Echarts来制作图表，在网上搜了好多例子几乎都是千篇一律的在前台写死一些js，然后把变量通过ajax或者遍历集合的方式插进去，这样子一旦某一页面的图表一多，就会异常混乱，偶然在开源中国看到有人做成了个Echarts对象的jar包，在后台进行完美封装传回一个option在前台接收了并set进option即可。试了试，效果非常好。下面给出例子代码：

转载 Kafka深度解析

背景介绍Kafka简介　　Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输支持Kafka Server间的消息分区，及分布式消费，同时保证每个partition内的消息顺序传输同时支持

转载 如何用Maven创建web项目（具体步骤）

使用eclipse插件创建一个web project首先创建一个Maven的Project如下图  我们勾选上Create a simple project （不使用骨架）   这里的Packing 选择 war的形式  由于packing是war包，那么下面也就多出了webapp的目录

转载 如何用Maven创建web项目（具体步骤）

使用eclipse插件创建一个web project首先创建一个Maven的Project如下图  我们勾选上Create a simple project （不使用骨架）   这里的Packing 选择 war的形式  由于packing是war包，那么下面也就多出了webapp的目录

转载 Git之忽略文件(ignore file)

1、    环境Windows XP SP3 + TortoiseGit + msysGit 2、  ignore files的三种方法 以下涉及的ignore文件均为如下格式：# 以'#'开始的行，被视为注释.                                                                          

原创 Maven配置maven-eclipse-plugin（mvn eclipse:eclipse报错问题）

今天遇到这种情况，刚从github上面down到本地的代码导入eclipse时的问题：该项目在github上根据项目结构看出是使用maven构建的，但无法导入到eclipse，所以使用maven将其整理，执行mvn eclipse:eclipse，执行后出现以下问题：根据错误原因得知，需要在该项目的pom.xml配置maven-eclipse-plugin这个插件，在网上查找资料后

原创 git基础教程四

1.远程仓库1） 关联远程仓库使用GitHub做为远程仓库，在GitHub上新建repo，git remote add origin [远程仓库链接] 将本地仓库关联到远程仓库远程仓库链接，如[email protected]:michaelliao/learngit.git  git push -u origin master 将本地仓库代码推送到远程仓库mas

原创 git基础教程三

1.分支管理策略通常合并分支时，如果可能，Git会用Fast forward模式，但这种模式下，删除分支后，会丢掉分支信息。如果要强制禁用Fast forward模式，Git就会在merge时生成一个新的commit，这样，从分支历史上就可以看出分支信息。git merge [--no-ff] -m [提交信息][分支名]  这种合并方式会产生一次新的提交，合并分支时，

原创 git基础教程二

git初始时只有一个主分支master，不创建分支的情况下，每次提交后，master分支会向前移动指针，分支会越来越长（指针信息保存在HEAD文件中）；在创建分支之后，指针会指向分支（HEAD文件内容修改），在分支上多次提交，分支会像master一样发展，但是不会对master分支有影响；完成分支之后，可以使用merge合并创建的分支与master，合并完成后删除分支，保留主分支；

原创 git基础教程一

1.git基本概念staging area（或者叫index）  暂存区working area  工作区就是git init之后的目录里面包含有.git文件夹以及代码等local repository   本地仓库就是.git文件夹,里面包含有所有分支信息还有HEAD（指针），staging area也保存在里面；该文件夹保存了git管理代码所有的信息，不建议手动

转载 Flume日志收集

一、Flume介绍Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。设计目标：(1) 可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，从强到弱依次分别为：end-to-end（收到数

转载 Flume-ng+Kafka+storm的学习笔记

Flume-ngFlume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。      Flume的文档可以看http://flume.apache.org/FlumeUserGuide.html 官方的英文文档 介绍的比较全面。       不过这里写写自己的见解这个是flume的架构图 从上图可以看到几个名词：

转载 组合式的MapReduce作业

Hadoop 组合式作业在实际的应用中，很多的复杂任务都是不止一趟的mapreduce任务，需要查分成多个简单的mapreduce子任务去完后。（1）迭代的计算任务。（2）顺序组合MapReduce作业（3）具有依赖关系的组合式mapreduce作业（4）mapreduce前处理和后处理步骤的链式执行迭代的计算任务：PageRank算法。顺序组合：多个mapre

转载 【Twitter Storm系列】flume-ng+Kafka+Storm+HDFS 实时系统搭建

一直以来都想接触Storm实时计算这块的东西，最近在群里看到上海一哥们罗宝写的Flume+Kafka+Storm的实时日志流系统的搭建文档，自己也跟着整了一遍，之前罗宝的文章中有一些要注意点没提到的，以后一些写错的点，在这边我会做修正；内容应该说绝大部分引用罗宝的文章的，这里要谢谢罗宝兄弟，还有写这篇文章@晨色星空J2EE也给了我很大帮助，这里也谢谢@晨色星空J2EE之前在弄这个的时候，跟

转载 初学HBase的几个问题

本文主要针对对HBase不了解的人。主要想基于个人的理解回答以下几个问题：什么是HBase？何时用HBase？与Hive、Pig的区别？HBase的结构为何HBase速度很快？HBase常用的操作有哪些？HBase的一些配置和监控什么是HBase？HBase，是Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。使用HBa

转载 Hadoop - MapReduce MRAppMaster-剖析

一 概述        MRv1主要由编程模型(MapReduce API)、资源管理与作业控制块(由JobTracker和TaskTracker组成)和数据处理引擎(由MapTask和ReduceTask组成)三部分组成。而YARN出现之后，资源管理模块则交由YARN实现，这样为了让MapReduce框架运行在YARN上，仅需要一个ApplicationMaster组件完成作

转载 mapreduce排序和二次排序以及全排序

自己学习排序和二次排序的知识整理如下。1.Hadoop的序列化格式介绍:Writable2.Hadoop的key排序逻辑3.全排序4.如何自定义自己的Writable类型5.如何实现二次排序1.Hadoop的序列化格式介绍:Writable要了解和编写MR实现排序必须要知道的第一个知识点就是Writable相关的接口和类，这些是HADOOP自己的序列