数据库技术
文章平均质量分 67
行走江湖
方向:分布式计算、实时流计算、数据挖掘、后台开发、NoSQL、Hadoop/HBase、Unix/Linux、Java、C/C++、Python。
联系方式:http://t.qq.com/X-L2008
QQ:394102339
展开
-
OLAP简介及Mondrian快速入门
OLAP(On-Line Analysis Processing)在线分析处理是一种共享多维信息的快速分析技术;OLAP利用多维数据库技术使用户从不同角度观察数据;OLAP用于支持复杂的分析操作,侧重于对管理人员的决策支持,可以满足分析人员快速、灵活地进行大数据复量的复杂查询的要求,并且以一种直观、易懂的形式呈现查询结果,辅助决策。上面是OLAP的一些不同的解释,本文将从以下几个方面介绍OLA转载 2014-03-17 17:31:37 · 756 阅读 · 0 评论 -
一种实时多维数据的分析及同步系统
一种实时多维数据的分析及同步系统多维分析技术是一种被广泛应用的数据分析技术,本人在实际项目中使用开源OLAP框架Mondrian及关系型数据库MySQL,尝试设计并实现了一套多维数据的分析及同步系统,以解决现有技术对于互联网上实时流动变化数据无法进行快速有效的多维度分析的问题。这里是对该方案的详细描述。1. 系统内部模块下图所示为该系统的内部模块结构,分为:实时数据收集模块,实转载 2014-03-24 13:29:48 · 3338 阅读 · 0 评论 -
Mondrian中聚合表的应用
最近在项目中使用了开源OLAP引擎——Mondrian实现一个多维分析系统,在项目后期系统优化阶段使用了Mondrian中的聚合表机制。这里结合Mondrian官方资料和个人使用经验,对Mondrian中聚合表的概念、应用场景、如何使用、注意事项等内容做一个总结。1. OLAP相关概念Mondrian是一个基于Java语言的开源OLAP引擎,它通过MDX语句执行查询,从关系型数据转载 2014-03-24 12:41:53 · 1284 阅读 · 0 评论 -
oracle物化视图介绍
前言MView的两大应用方向一是用于数据库的复制,这个在Oracle文档《Advanced Replication》中有详细的描述。另一个是用于数据仓库,同样Oracle文档《Oracle Database Data Warehousing Guide》中也有详细的描述。本系列文章以实例的方式一步步的说是什么是MView、MView的结构、MView的基本工作过转载 2014-04-03 11:06:00 · 930 阅读 · 0 评论 -
大数据下的数据分析平台架构
随着互联网、移动互联网和物联网的发展,谁也无法否认,我们已经切实地迎来了一个海量数据的时代,数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB,对这些海量数据的分析已经成为一个非常重要且紧迫的需求。作为一家互联网数据分析公司,我们在海量数据的分析领域那真是被“逼上梁山”。多年来在严苛的业务需求和数据压力下,我们几乎尝试了所有可能的大数据分析方法,最终落地于Hadoop平台之上。转载 2014-03-20 21:06:59 · 880 阅读 · 1 评论 -
OLTP与OLAP的区别
(1)定义不同OLTP(联机事务处理):主要执行联机事务OLAP(联机分析处理):主要执行联机查询(2)其他主要区别· 面向性OLTP是面向客户的;OLAP是面向市场的。· 数据内容OLTP主要管理当前数据;OLAP管理大量历史数据,提供汇总和聚集机制。· 数据库设计OLTP采用实体-原创 2014-03-20 23:01:58 · 686 阅读 · 0 评论 -
ORACLE 分析系统OLAP设计思想
ORACLE 的原来设计是基于事务型的,对处理分析型的就不地道了.最近的发展ORACLE相关技术开发都逐步适应OLAP的需求.1 分区技术 2 压缩技术 3索引组织表 4 大块 5并行技术 6内存结果集.原来的ORACLE设计基础是短小精悍的大规模并发事务. 而甲骨文凭借这一点占领了大部分数据库市场份额.微软的SQLSERVER以它的综合型,友好型和简单易用型占领了中小企业市场.转载 2014-03-21 11:39:51 · 2450 阅读 · 0 评论 -
数据仓库的源数据类型
数据仓库中集成了企业几乎所有的可以获取到的数据以用于数据分析和决策支持,当然也包括了我在网站分析的数据来源一文中所提到的所有数据。这些进入到数据仓库中的数据无外乎三种类型:结构化数据、半结构化数据和非结构化数据,它们经过转化后以某种形式统一地储存在数据仓库中,即通常说的ETL(Extract, Transform, Load,抽取、转换、装载)的过程。下面主要说一下这三种数据类型的区别,它们分转载 2014-03-19 12:02:22 · 783 阅读 · 0 评论 -
多维交叉分析
我们在进行数据分析的时候,大部分时间都在使用趋势分析、比较分析、细分分析这三类方法,但其实还有一个方法我们也会经常使用——交叉分析,尤其是在排查数据异常的问题时,交叉分析就能展现其强大的威力。另外要跟大家说声抱歉的是博客的更新频率可能没有那么频繁了,但是尽量每个月至少能发布一篇,希望文章的质量有所保证,还是欢迎大家留言讨论,能够发起一些有趣的话题,一起拓展在网站数据分析方面的思路。什么是交转载 2014-03-19 11:26:44 · 6020 阅读 · 0 评论 -
数据仓库的基本架构
数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持(Decision Support)。其实数据仓库本身并不“生产”任何数据,同时自身也不需要“消费”任何的数据,数据来源于外部,并且开放给外部应用,这也是为什么叫“仓库”,而不叫“工厂”的原因。因此数据仓库的基本架构主要包含的是数据流入流出的过程,可以分为三层——源数据、数据仓库、数据应用: 从图中可以看出数据仓库的转载 2014-03-19 11:52:09 · 735 阅读 · 0 评论 -
数据库一致性
数据库一致性(Database Consistency)是指事务执行的结果必须是使数据库从一个一致性状态变到另一个一致性状态。转载 2014-04-05 18:49:04 · 1525 阅读 · 0 评论