bi与大数据开发
飞亦浩然
生命不息 奔腾不止
展开
-
数据仓库与数据挖掘的个人总结
来公司的第一天收到要熟悉数据仓库与数据挖掘的任务,任务内容如下: 1.阅读有关数据仓库、数据挖掘、OLAP在线联机分析的相关文档,掌握和了解相关基础知识和概念 2.了解常见的数据仓库及OLAP解决数据决策分析有效性的解决方案,以及主要的实施过程 3.重点了解微软的解决方案 4.在电脑上安装微软sqlse转载 2017-08-09 11:49:16 · 1271 阅读 · 0 评论 -
ETL技术入门之ETL初认识
ETL是什么ETL是Extract Transform Load三个英文单词的缩写 中文意思就是抽取、转换、加载。说到ETL就必须提到数据仓库。先说下背景知识:信息是现代企业的重要资源,是企业运用科学管理、决策分析的基础。目前,大多数企业花费大量的资金和时间来构建联机事务处理OLTP的业务系统和办公自动化系统(例如电信行业的各种运营支撑系统、购物网站系统),用来转载 2017-12-07 18:03:48 · 497 阅读 · 1 评论 -
bi数据仓库的架构与设计基础
公司之前的数据都是直接传到Hdfs上进行操作,没有一个数据仓库,趁着最近空出几台服务器,搭了个简陋的数据仓库,这里记录一下数据仓库的一些知识。涉及的主要内容有:什么是数据仓库?数据仓库的架构数据仓库多维数据模型的设计1. 什么是数据仓库1.1 数据仓库的概念官方定义数据仓库是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合,转载 2017-12-07 17:51:53 · 1064 阅读 · 0 评论 -
bi数据仓库的模型设计
数据仓库的模型设计A. 数据建模方法论数据仓库模型设计遵循“自顶向下、逐步求精”的设计原则。模型设计分为三个阶段:1,概念模型对业务的范围和使用,从高度上进行抽象概括,也就是划分主题域。一般划分为8个主题域:客户、服务、服务使用、账务、结算、资源、客服、营销为什么要划分主题域?划分主题域,是根据业务的应用和需要来划分的转载 2017-12-07 17:56:57 · 682 阅读 · 0 评论 -
ETL增量抽取方法
一、.ETL体系结构 数据库--->抽取---> 转换--->加载--->目的数据源二、ETL抽取方案 1).全量抽取 全量抽取类似于数据迁移或数据复制,它将数据源中的表或视图的数据原封不动的从数据库中抽取出来,并转换成自己的ETL工具可以识别的格式,全量抽取比较简单。全量抽取一般只在系统初始化时使用,全量一次后,就要每天采用增量抽取。原创 2017-12-11 22:02:35 · 1197 阅读 · 0 评论 -
bi项目中数据仓库的维度表和事实表
度表示你要对数据进行分析时所用的一个量, 比如你要分析产品销售情况, 你可以选择按类别来进行分析,或按区域来分析. 这样的按..分析就构成一个维度。前面的示例就可以有两个维度:类型和区域。另外每个维度还可以有子维度(称为属性),例如类别可以有子类型,产品名等属性。下面是两个常见的维度表结构:产品维度表:Prod_id, Product_Name, Category, Color, Size原创 2017-11-15 18:04:34 · 2137 阅读 · 0 评论 -
VMware Ubuntu安装详细过程
不是每一个程序员都必须玩过Linux,只是博主觉得现在的很多服务器都是linux系统的,而自己属于那种前端也搞,后台也搞,对框架搭建也感兴趣,但是很多生产上的框架和工具都是安装在服务器上的,而且有不少大公司都要求熟悉在linux上开发,因此从个人职业发展有必要去多了解一下linux。(博主网上查了一下,现在大部分服务器安装的系统主要有:ubuntu server、centos、suse l转载 2017-08-29 16:25:43 · 305 阅读 · 0 评论 -
spoon连接资源库的一些问题
使用spoon(verison 6)2建立 MySQL的连接,使用mysql好像是5.5版本第一个问题:驱动找到mysql的驱动放到libswt ....win64下面。驱动文件名****mysql***bin.jar文件第二个问题:资源库资源库creat and update时对r_version中最后一个字段好像叫update(就是判断是否是更新那个字段)操作时出错,出错原转载 2017-08-28 00:01:55 · 1344 阅读 · 0 评论 -
ETL流程概述及常用实现方法
ETL是英文Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。常见于数据仓库开发中将数据由业务系统归集到数据仓库(DW)或者数据集市的过程。在ETL三个部分中,花费时间最长的是“T”(Transform,清洗、转换)的部分,一般情况下这部分工作量是整个ETL的2/3。1抽取作业转载 2017-12-07 18:07:00 · 1154 阅读 · 0 评论