商业智能BI的三个层次--数据报表、数据分析、数据挖掘

商业智能BI的三个层次--数据报表、数据分析、数据挖掘

      经过几年的积累,大部分中大型的企事业单位已经建立了比较完善的CRM、ERP、OA等基础信息化系统。这些系统的统一特点都是:通过业务人员或者用户的操作,最终对数据库进行增加、修改、删除等操作。上述系统可统一称为OLTP(Online Transaction Process,在线事务处理),指的就是系统运行了一段时间以后,必然帮助企事业单位收集大量的历史数据。但是,在数据库中分散、独立存在的大量数据对于业务人员来说,只是一些无法看懂的天书。业务人员所需要的是信息,是他们能够看懂、理解并从中受益的抽象信息。此时,如何把数据转化为信息,使得业务人员(包括管理者)能够充分掌握、利用这些信息,并且辅助决策,就是商业智能主要解决的问题。
       如何把数据库中存在的数据转变为业务人员需要的信息?大部分的答案是报表系统。简单说,报表系统已经可以称作是BI了,它是BI的低端实现。 现在的企业,大部分已经进入了中端BI,叫做数据分析。有一些企业已经开始进入高端BI,叫做数据挖掘。而我国的企业,目前大部分还停留在报表阶段。

数据报表不可取代
      传统的报表系统技术上已经相当成熟,大家熟悉的Excel、水晶报表、Reporting Service等都已经被广泛使用。但是,随着数据的增多,需求的提高,传统报表系统面临的挑战也越来越多。
1. 数据太多,信息太少
       密密麻麻的表格堆砌了大量数据,到底有多少业务人员仔细看每一个数据?到底这些数据代表了什么信息、什么趋势?级别越高的领导,越需要简明的信息。如果我是董事长,我可能只需要一句话:目前我们的情况是好、中还是差?
2. 难以交互分析、了解各种组合
      定制好的报表过于死板。例如,我们可以在一张表中列出不同地区、不同产品的销量,另一张表中列出不同地区、不同年龄段顾客的销量。但是,这两张表无法回答诸如“华北地区中青年顾客购买数码相机类型产品的情况”等问题。业务问题经常需要多个角度的交互分析。

3. 难以挖掘出潜在的规则

      报表系统列出的往往是表面上的数据信息,但是海量数据深处潜在含有哪些规则呢?什么客户对我们价值最大,产品之间相互关联的程度如何?越是深层的规则,对于决策支持的价值越大,但是,也越难挖掘出来。

4. 难以追溯历史,数据形成孤岛

    业务系统很多,数据存在于不同地方。太旧的数据(例如一年前的数据)往往被业务系统备份出去,导致宏观分析、长期历史分析难度很大。 因此,随着时代的发展,传统报表系统已经不能满足日益增长的业务需求了,企业期待着新的技术。

    数据分析和数据挖掘的时代正在来临。值得注意的是,数据分析和数据挖掘系统的目的是带给我们更多的决策支持价值,并不是取代数据报表。报表系统依然有其不可取代的优势,并且将会长期与数据分析、挖掘系统一起并存下去。
数据挖掘看穿你的需求
     广义上说,任何从数据库中挖掘信息的过程都叫做数据挖掘。从这点看来,数据挖掘就是BI。但从技术术语上说,数据挖掘(Data Mining)特指的是:源数据经过清洗和转换等成为适合于挖掘的数据集。数据挖掘在这种具有固定形式的数据集上完成知识的提炼,最后以合适的知识模式用于进一步分析决策工作。从这种狭义的观点上,我们可以定义:数据挖掘是从特定形式的数据集中提炼知识的过程。数据挖掘往往针对特定的数据、特定的问题,选择一种或者多种挖掘算法,找到数据下面隐藏的规律,这些规律往往被用来预测、支持决策。
  关联销售案例:
   美国的超市有这样的系统:当你采购了一车商品结账时,售货员小姐扫描完了你的产品后,计算机上会显示出一些信息,然后售货员会友好地问你:我们有一种一次性纸杯正在促销,位于F6货架上,您要购买吗?这句话决不是一般的促销。因为计算机系统早就算好了,如果你的购物车中有餐巾纸、大瓶可乐和沙拉,则86%的可能性你要买一次性纸杯。结果是,你说,啊,谢谢你,我刚才一直没找到纸杯。 这不是什么神奇的科学算命,而是利用数据挖掘中的关联规则算法实现的系统。每天,新的销售数据会进入挖掘模型,与过去N天的历史数据一起,被挖掘模型处理,得到当前最有价值的关联规则。同样的算法,分析网上书店的销售业绩,计算机可以发现产品之间的关联以及关联的强弱。
   数据报表、数据分析、数据挖掘是BI的三个层面。我们相信未来几年的趋势是:越来越多的企业在数据报表的基础上,会进入数据分析与数据挖掘的领域。商业智能所带来的决策支持功能,会给我们带来越来越明显的效益。
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
SQL Server 2008商业智能完美解决方案 3/3 SQL Server 2008 2010 商业智能完美解决方案 作者:兰吉特(Lynn Langit) 出版社:人民邮电出版社; 第1版 (2010年8月1日) ISBN:7115231117, 9787115231116 页码:545 -------------------------------------------------------------------------------- 《SQL Server 2008商业智能完美解决方案》: 利用Microsoft SQL Server 2008实现灵活的商业智能解决方案使用Microsoft 完善的BI工具构建B0解决方案的必备指南,使用SQLServer 2008设计、开发和部署更有效的数据集成、报表、分析解决方案所需的权威操作指南。不论是商业智能(B0)编程的新手还是老手,都会从中受益。通过专家团队的真实示例和高明见解,读者能够掌握构建商业智能解决方案的概念、工具和技术,从而真正提供客户所需的智能性商业价值。 《SQL Server 2008商业智能完美解决方案》研究如下内容: 管理开发生命周期,打造BI团队; 深入研究SQL Servet Analysis Services、Integration Services和 Reporting Services; 使用Business Intelligence Development Studio(BIDS); 编写对销售数据进行分级、排序和深化的查询; 开发提取、转换、加载(ETL)解决方案; 添加源代码控制系统; 通过加密和凭据保护部署的包; 用MDX和DMX查询设计器构建基于OLAP多维数据集和数据挖掘模 型的报表; 用NET代码建立并实现自定义对象; 在Microsoft Office Excel和Office SharePoint Server中查看报表。 微软公司US-SQL Analysis Services 首席开发经理Donaod Farmer倾力作序 内容提要 -------------------------------------------------------------------------------- 《SQL Server 2008商业智能完美解决方案》介绍如何使用Microsoft SQL Server 2008开发商业智能(BI)解决方案。《SQL Server 2008商业智能完美解决方案》共分为4部分。第一部分阐述了商业智能基础、可视化商业智能结果、构建有效的商业智能流程、商业智能解决方案的物理架构、面向架构师的OLAP逻辑设计概念;第二部分面向Analysis Services开发人员,详细介绍了如何使用BIDS以及BIDS的所有功能,提供了使用SSAS构建OLAP多维数据集和数据挖掘模型的指南;第三部分面向Integration Services开发人员,详细介绍如何使用SSIS开发ETL软件包,利用ETL包加载OLAP多维数据集和数据挖掘结构;第四部分详细介绍了SSRS的架构,以及Excel、Visio或Office SharePoint Server 2007作为BI客户端的实现。 《SQL Server 2008商业智能完美解决方案》结合专家团队提供的实际示例和丰富经验进行介绍,让读者能够直观轻松地掌握构建商业智能(BI)解决方案的概念、工具和技术,是一本不可多得的商业智能开发参考指南。无论是商业智能(BI)编程新手还是经验丰富的老手,都可从《SQL Server 2008商业智能完美解决方案》中获益。 目录 -------------------------------------------------------------------------------- 第一部分 面向商业决策者和架构师的商业智能 第1章 商业智能基础 3 1.1 商业智能和数据建模 3 1.2 OLTP和OLAP 4 1.2.1 联机事务处理 4 1.2.2 联机分析处理 6 1.3 常用BI术语 9 1.3.1 数据仓库 9 1.3.2 数据市场 10 1.3.3 多维数据集 11 1.3.4 决策支持系统 11 1.3.5 数据挖掘系统 11 1.3.6 提取、转换和加载系统 12 1.3.7 报表处理系统 12 1.3.8 关键绩效指标 12 1.4 Microsoft BI解决方案的核心组件 12 1.4.1 SQL Server 2008 Analysis Services 13 1.4.2 SQL
大数据时代数据挖掘与分析 讲师 杨庆跃 2015.8.11 目录 一、导入:移动互联网、云计算、物联网 二、什么是大数据 三、大数据应用现状与应用热点 四、数据分析与挖掘概述 六、聚类分析--客户分群 五、关联分析--交叉销售与提升销售 七、分类分析--客户流失预测 八、回归与时间序列--业务指标预测 九、电信行业大数据应用现状与案例 数据、信息、知识 数据 对现实世界中客观事物的符号表示,未经 加工 可以是数值数据,也可以是非数值数据, 如声音、图像等 信息 信息是含有一定量商务信息和意义的数据, 是经过提炼、加工和集成的数据。 有价值的数据 数据 VS 信息 ? 数据 VS 信息 ? 59.2 43.9 75.4 11.0 26.0 15.0 24.6 23.8 120.9 11.7 8.9 11.8 25.4 4.5 13.5 0.1 18.3 6.1 0.5 1.0 5.8 1.3 0.0 0.0% 20.0% 40.0% 60.0% 80.0% 100.0% 0.0 20.0 40.0 60.0 80.0 100.0 120.0 140.0 上海 江苏 浙江 安徽 福建 江西 湖北 湖南 广东 广西 海南 重庆 四川 贵州 云南 西藏 陕西 甘肃 青海 宁夏 新疆 北方 北京 网络能力 用户数 实占率 2003年1—5月 中国电信 36.25% 中国移动 27.26% 中国网通 18.66% 中国联通 16.80% 铁通公司 1.03% 用户数增长率% 资本支出收入比% 中国移动 中国电信 中国网通 中国联通 5.9 12.3 17.0 36.3 2003上半年 2002全年值 知识 知识把信息提到更高的层次 "可以辅助我们作出决策或采取行动的有 很高价值的一种信息形态" "行动的力量" 数据分析是为了产生知识 提升的层次 信息 知识 数据 管 理 者 关 注 度 低 高 最原始的数值 有价值的数据 用于解决问题的信息 为什么进行数据分析与挖掘? 产品体系丰富 数据分析 数据挖掘 效益/业绩压力 经营管理复杂 竞争日趋激烈 数据分析的发展历程 –分析对象:以产品为主 –数据源:统计报表 –维度:单一维度 –手段:统计分析 –工具:excel –分析对象:增加客户、套餐 –数据源:数据仓库 –维度:多维度 –手段:统计分析 –工具:excel、 brio 、spss等 –分析对象:以客户、套餐为主 –数据源:数据仓库 –维度:更多维度 –手段:统计分析、数据挖掘 –工具:excel、 BO、Cognos、 spss 、 Modeler等 阶段1:固定报表 阶段2:多维报表 阶段3:数据挖掘 数据分析三个阶段 收集数据时的几点注意事项 数据的时效性 数据的正确性 数据的真实性 数据的统计口径 对数据分析人员的素质要求 审美能 力 系统思 维 了解业 务 熟悉数 据 擅长统 计 软件操 作 正确沟 通 表达能 力 强化和发展分析技巧和水平,并以恰当的方式展现出来。 什么是商务智能? 商务智能(Business Intelligence,BI) – 帮助组织提高决策能力和运营能力的概念、方 法、过程以及软件的集合。 商务智能技术 三个核心技术 – 数据仓库Data Warehouse – 联机分析处理OLAP – 数据挖掘Data Mining 其他: – 数据可视化 – 计算机网络与Web技术 – 云计算 – 大数据 数据挖掘基本概念 "啤酒"和"尿布" 一则广为流传的案例:啤酒和尿布的故事 – 美国加州某个超市连锁店发现: 在下班后前来购买婴儿尿布的顾客多数是男性, 他们往往也同时购买啤酒。 – 处理:重新布置了货架,啤酒类商品、婴儿尿布、土豆片之 类的佐酒小食品、男士们日常生活用品就近布置。 – 结果:上述几种商品的销量几乎马上成倍增长。 塔吉特:比父亲更早知道女儿怀孕 发生在全美第二大零售商塔吉特的故事 – 一位男性顾客到一家塔吉特店中投诉,商店竟然给他还在读 书的女儿寄婴儿用品的优惠券。 – 真相:塔吉特通过对孕妇的消费习惯进行一次次的测试和数 据分析,得出了一些非常有用的结论:孕妇在怀孕头三个月 过后会购买大量润肤露;在头 20周,孕妇会补充如钙、镁、 锌等营养素;除了购买洗手液和毛巾以外,还突然开始大量 采购无味肥皂,说明预产期要来了 数据挖掘定义 数据挖掘是识别数据中有效的、新颖的、潜在有 用的和最终可被理解的模式(知识)的过程。 数据分析工具概览 存储 展现 分析 用户级 部门级 企业级 BI级 统计分析工具SPSS Statistics SPSS是专业的通用统计软件包,兼有数据管理、统计分析、 统计绘图和统计报表功能, SPSS统计分析软件具有下列特点 – 安装简单 – 操作简单 – 无需编程 –
完整清晰 PDF 扫描文档 这个PDF文件是我花钱买来的,现在为了挣积分,拿出来与大家分享!! SQL Server 2008商业智能完美解决方案 1/3 SQL Server 2008 2010 商业智能完美解决方案 作者:兰吉特(Lynn Langit) 出版社:人民邮电出版社; 第1版 (2010年8月1日) ISBN:7115231117, 9787115231116 页码:545 -------------------------------------------------------------------------------- 《SQL Server 2008商业智能完美解决方案》: 利用Microsoft SQL Server 2008实现灵活的商业智能解决方案使用Microsoft 完善的BI工具构建B0解决方案的必备指南,使用SQLServer 2008设计、开发和部署更有效的数据集成、报表、分析解决方案所需的权威操作指南。不论是商业智能(B0)编程的新手还是老手,都会从中受益。通过专家团队的真实示例和高明见解,读者能够掌握构建商业智能解决方案的概念、工具和技术,从而真正提供客户所需的智能性商业价值。 《SQL Server 2008商业智能完美解决方案》研究如下内容: 管理开发生命周期,打造BI团队; 深入研究SQL Servet Analysis Services、Integration Services和 Reporting Services; 使用Business Intelligence Development Studio(BIDS); 编写对销售数据进行分级、排序和深化的查询; 开发提取、转换、加载(ETL)解决方案; 添加源代码控制系统; 通过加密和凭据保护部署的包; 用MDX和DMX查询设计器构建基于OLAP多维数据集和数据挖掘模 型的报表; 用NET代码建立并实现自定义对象; 在Microsoft Office Excel和Office SharePoint Server中查看报表。 微软公司US-SQL Analysis Services 首席开发经理Donaod Farmer倾力作序 内容提要 -------------------------------------------------------------------------------- 《SQL Server 2008商业智能完美解决方案》介绍如何使用Microsoft SQL Server 2008开发商业智能(BI)解决方案。《SQL Server 2008商业智能完美解决方案》共分为4部分。第一部分阐述了商业智能基础、可视化商业智能结果、构建有效的商业智能流程、商业智能解决方案的物理架构、面向架构师的OLAP逻辑设计概念;第二部分面向Analysis Services开发人员,详细介绍了如何使用BIDS以及BIDS的所有功能,提供了使用SSAS构建OLAP多维数据集和数据挖掘模型的指南;第三部分面向Integration Services开发人员,详细介绍如何使用SSIS开发ETL软件包,利用ETL包加载OLAP多维数据集和数据挖掘结构;第四部分详细介绍了SSRS的架构,以及Excel、Visio或Office SharePoint Server 2007作为BI客户端的实现。 《SQL Server 2008商业智能完美解决方案》结合专家团队提供的实际示例和丰富经验进行介绍,让读者能够直观轻松地掌握构建商业智能(BI)解决方案的概念、工具和技术,是一本不可多得的商业智能开发参考指南。无论是商业智能(BI)编程新手还是经验丰富的老手,都可从《SQL Server 2008商业智能完美解决方案》中获益。 目录 -------------------------------------------------------------------------------- 第一部分 面向商业决策者和架构师的商业智能 第1章 商业智能基础 3 1.1 商业智能和数据建模 3 1.2 OLTP和OLAP 4 1.2.1 联机事务处理 4 1.2.2 联机分析处理 6 1.3 常用BI术语 9 1.3.1 数据仓库 9 1.3.2 数据市场 10 1.3.3 多维数据集 11 1.3.4 决策支持系统 11 1.3.5 数据挖掘系统 11 1.3.6 提取、转换和加载系统 12 1.3.7 报表处理系统 12 1.3.8 关键绩效指标 12 1.4 Microsoft BI解决方案的核心组件 12 1.4.1 SQL Server 2008 Analysis Services 13 1.4.2 SQL
SQL Server 2008商业智能完美解决方案 3/3 SQL Server 2008 2010 商业智能完美解决方案 作者:兰吉特(Lynn Langit) 出版社:人民邮电出版社; 第1版 (2010年8月1日) ISBN:7115231117, 9787115231116 页码:545 -------------------------------------------------------------------------------- 《SQL Server 2008商业智能完美解决方案》: 利用Microsoft SQL Server 2008实现灵活的商业智能解决方案使用Microsoft 完善的BI工具构建B0解决方案的必备指南,使用SQLServer 2008设计、开发和部署更有效的数据集成、报表、分析解决方案所需的权威操作指南。不论是商业智能(B0)编程的新手还是老手,都会从中受益。通过专家团队的真实示例和高明见解,读者能够掌握构建商业智能解决方案的概念、工具和技术,从而真正提供客户所需的智能性商业价值。 《SQL Server 2008商业智能完美解决方案》研究如下内容: 管理开发生命周期,打造BI团队; 深入研究SQL Servet Analysis Services、Integration Services和 Reporting Services; 使用Business Intelligence Development Studio(BIDS); 编写对销售数据进行分级、排序和深化的查询; 开发提取、转换、加载(ETL)解决方案; 添加源代码控制系统; 通过加密和凭据保护部署的包; 用MDX和DMX查询设计器构建基于OLAP多维数据集和数据挖掘模 型的报表; 用NET代码建立并实现自定义对象; 在Microsoft Office Excel和Office SharePoint Server中查看报表。 微软公司US-SQL Analysis Services 首席开发经理Donaod Farmer倾力作序 内容提要 -------------------------------------------------------------------------------- 《SQL Server 2008商业智能完美解决方案》介绍如何使用Microsoft SQL Server 2008开发商业智能(BI)解决方案。《SQL Server 2008商业智能完美解决方案》共分为4部分。第一部分阐述了商业智能基础、可视化商业智能结果、构建有效的商业智能流程、商业智能解决方案的物理架构、面向架构师的OLAP逻辑设计概念;第二部分面向Analysis Services开发人员,详细介绍了如何使用BIDS以及BIDS的所有功能,提供了使用SSAS构建OLAP多维数据集和数据挖掘模型的指南;第三部分面向Integration Services开发人员,详细介绍如何使用SSIS开发ETL软件包,利用ETL包加载OLAP多维数据集和数据挖掘结构;第四部分详细介绍了SSRS的架构,以及Excel、Visio或Office SharePoint Server 2007作为BI客户端的实现。 《SQL Server 2008商业智能完美解决方案》结合专家团队提供的实际示例和丰富经验进行介绍,让读者能够直观轻松地掌握构建商业智能(BI)解决方案的概念、工具和技术,是一本不可多得的商业智能开发参考指南。无论是商业智能(BI)编程新手还是经验丰富的老手,都可从《SQL Server 2008商业智能完美解决方案》中获益。 目录 -------------------------------------------------------------------------------- 第一部分 面向商业决策者和架构师的商业智能 第1章 商业智能基础 3 1.1 商业智能和数据建模 3 1.2 OLTP和OLAP 4 1.2.1 联机事务处理 4 1.2.2 联机分析处理 6 1.3 常用BI术语 9 1.3.1 数据仓库 9 1.3.2 数据市场 10 1.3.3 多维数据集 11 1.3.4 决策支持系统 11 1.3.5 数据挖掘系统 11 1.3.6 提取、转换和加载系统 12 1.3.7 报表处理系统 12 1.3.8 关键绩效指标 12 1.4 Microsoft BI解决方案的核心组件 12 1.4.1 SQL Server 2008 Analysis Services 13 1.4.2 SQL Server 2008 Reporting Services 15 1.4.3 SQL Server 2008 15 1.4.4 SQL Server 2008 Integration Services 15 1.5 Microsoft BI解决方案的可选组件 17 1.6 BI解决方案中使用的查询语言 18 1.6.1 MDX 18 1.6.2 DMX 19 1.6.3 XMLA 19 1.6.4 RDL 19 1.7 小结 19 第2章 商业智能结果可视化 21 2.1 将业务案例与BI解决方案对应起来 21 2.1.1 BI范围十大问题 22 2.1.2 BI解决方案的组成部分 23 2.2 从用户的角度理解商业智能 26 2.2.1 用Excel 2007演示BI功能 28 2.2.2 通过Excel外接程序了解数据挖掘 35 2.2.3 使用Excel 2007查看数据挖掘结构 36 2.3 完整BI解决方案的元素 39 2.3.1 报表——确定谁将使用解决方案 39 2.3.2 ETL——实现解决方案的基础 40 2.3.3 数据挖掘——不可或缺 40 2.4 常见的业务挑战和BI解决方案 42 2.5 衡量BI解决方案的ROI 43 2.6 小结 45 第3章 构建有效的商业智能流程 46 3.1 BI项目的软件开发生命周期 46 3.1.1 Microsoft Solution Framework 47 3.1.2 Microsoft Solution Framework for Agile Software Development 48 3.1.3 将MSF用于BI项目 49 3.1.4 Microsoft Solution Framework的阶段和可交付成果 49 3.2 BI项目需要的技能 53 3.2.1 必备技能 54 3.2.2 可选技能 55 3.3 建立团队 57 3.4 小结 62 第4章 商业智能解决方案的物理架构 63 4.1 物理基础结构更改的规划 63 4.1.1 创建准确的基线调查 63 4.1.2 评估当前的服务级别协议 64 4.2 确定服务器的最优数量和最佳位置 65 4.2.1 物理服务器的考虑 67 4.2.2 逻辑服务器和服务的考虑 68 4.3 理解安全需求 70 4.4 备份和还原 78 4.4.1 备份SSAS 78 4.4.2 备份SSIS 79 4.4.3 备份SSRS 79 4.5 审核与合规 79 4.6 源代码控制 82 4.7 小结 83 第5章 面向架构的OLAP逻辑设计概念 84 5.1 设计基本的OLAP多维数据集 84 5.1.1 星形架构 85 5.1.2 反规范化 91 5.1.3 回到星形 91 5.1.4 其他设计技巧 96 5.1.5 雪花维度建模 97 5.1.6 维度建模补充 100 5.1.7 理解事实(度量)建模 105 5.1.8 BI建模的其他考虑 107 5.2 小结 108 第二部分 Microsoft SQL Server 2008 Analysis Services开发人员指南 第6章 理解SSMS和SQL Server Profiler中的SSAS 111 6.1 SQL Server Analysis Services的核心工具 111 6.1.1 基线服务配置 114 6.1.2 SSMS中的SSAS 115 6.1.3 如何查询SSAS对象 124 6.1.4 使用MDX模板 127 6.1.5 使用DMX模板 130 6.1.6 使用XMLA模板 131 6.1.7 SSMS小结 132 6.2 小结 132 第7章 用BIDS设计OLAP多维数据集 133 7.1 使用BIDS 133 7.2 在“解决方案资源管理器”中工作 135 7.2.1 Analysis Services中的数据源 137 7.2.2 数据源视图 139 7.2.3 Analysis Services中的角色 142 7.2.4 在Analysis Services对象上使用编译后的程序集 143 7.3 用BIDS构建OLAP多维数据集 144 7.4 理解维度 149 7.4.1 属性层次结构 150 7.4.2 属性关系 151 7.4.3 翻译 153 7.5 使用维度 154 7.5.1 度量值组 154 7.5.2 超越星形维度 157 7.6 构建第一个OLAP多维数据集 160 7.6.1 选择度量值组 160 7.6.2 增加维度 160 7.7 小结 164 第8章 优化多维数据集和维度 165 8.1 优化第一个OLAP多维数据集 165 8.1.1 翻译和透视 165 8.1.2 关键绩效指标 167 8.1.3 操作 171 8.1.4 计算(MDX脚本或计算成员) 176 8.2 使用多维数据集和维度属性 179 8.2.1 时间智能 181 8.2.2 SCOPE关键字 181 8.2.3 账户智能和一元运算符定义 182 8.2.4 其他向导选项 185 8.2.5 货币换算 185 8.3 高级多维数据集和维度属性 188 8.4 小结 189 第9章 处理多维数据集和维度 190 9.1 构建、处理和部署OLAP多维数据集 190 9.1.1 区分数据和元数据 191 9.1.2 在断开环境下工作 191 9.1.3 在联机环境下工作 193 9.1.4 理解聚合 193 9.2 分区 194 9.2.1 选择存储模式:MOLAP、HOLAP和ROLAP 196 9.2.2 OLTP表的分区 198 9.2.3 其他OLAP分区配置 199 9.3 实现聚合 199 9.3.1 聚合设计向导 200 9.3.2 基于使用情况的优化向导 202 9.3.3 SQL Server Profiler 203 9.3.4 聚合设计器:高级视图 204 9.4 用MOLAP、HOLAP或ROLAP实现高级存储 205 9.5 主动缓存 206 9.5.1 主动缓存的通知设置 208 9.5.2 主动缓存调优 208 9.5.3 ROLAP维度 209 9.5.4 链接 210 9.5.5 写回 210 9.6 多维数据集和维度处理选项 212 9.7 小结 215 第10章 MDX简介 216 10.1 MDX的重要性 216 10.2 编写第一个MDX查询 217 10.2.1 MDX对象名称 218 10.2.2 MDX语法的其他元素 218 10.3 MDX核心函数 220 10.4 筛选MDX结果集 226 10.5 计算成员和命名集合 228 10.6 TopCount函数 230 10.7 Rank函数和组合 232 10.8 Head和Tail函数 235 10.9 MDX的层次结构函数 236 10.10 日期函数 239 10.10.1 结合使用聚合和日期函数 242 10.10.2 关于查询优化 243 10.11 小结 244 第11章 高级MDX 245 11.1 查询维度属性 245 11.2 从季节角度查看日期维度和MDX 248 11.3 创建持久计算成员 249 11.3.1 在BIDS中创建持久计算成员 249 11.3.2 用MDX脚本创建计算成员 250 11.4 使用IIf 251 11.5 关于命名集 252 11.6 关于脚本 255 11.7 理解SOLVE_ORDER 257 11.8 创建关键绩效指标 258 11.8.1 编程创建KPI 261 11.8.2 KPI的其他提示 262 11.9 在SSRS和PerformancePoint Server上使用MDX 262 11.9.1 在SSRS 2008中使用MDX 262 11.9.2 在PerformancePoint Server 2007上使用MDX 264 11.10 小结 267 第12章 理解数据挖掘结构 268 12.1 审核业务场景 268 12.2 使用BIDS数据挖掘界面 271 12.2.1 理解数据类型和内容类型 272 12.2.2 设置高级数据属性 274 12.2.3 选择数据挖掘模型 275 12.2.4 选择最合适的挖掘模型查看器 278 12.2.5 挖掘准确性图表和预测 281 12.3 数据挖掘算法 284 12.3.1 Microsoft朴素贝叶斯 284 12.3.2 Microsoft决策树算法 288 12.3.3 Microsoft线性回归算法 290 12.3.4 Microsoft时间序列算法 290 12.3.5 Microsoft聚类算法 292 12.3.6 Microsoft序列聚类 294 12.3.7 Microsoft关联算法 295 12.3.8 Microsoft神经网络算法 299 12.3.9 Microsoft逻辑回归 300 12.4 数据挖掘的艺术 301 12.5 小结 301 第13章 实现数据挖掘结构 302 13.1 实现CRISP-DM生命周期模型 302 13.2 用BIDS构建数据挖掘结构 303 13.3 用BIDS增加数据挖掘模型 305 13.4 处理挖掘模型 308 13.5 验证挖掘模型 310 13.5.1 提升图 310 13.5.2 利润图 312 13.5.3 分类矩阵 313 13.5.4 交叉验证 315 13.6 数据挖掘预测查询 316 13.6.1 DMX预测查询 318 13.6.2 DMX预测函数 320 13.7 数据挖掘和Integration Services 322 13.8 数据挖掘对象的处理 324 13.9 数据挖掘客户端 326 13.10 小结 326 第三部分 Microsoft SQL Server 2008 Integration Services开发人员指南 第14章 Microsoft SQL Server 2008 Integration Services的架构组件 329 14.1 Integration Services架构概述 329 14.2 Integration Services包 331 14.3 Integration Services对象模型和组件 334 14.3.1 控制流 335 14.3.2 数据流 335 14.3.3 变量 337 14.3.4 表达式 338 14.3.5 连接管理器 339 14.3.6 事件处理程序和错误处理 340 14.4 Integration Services运行时 341 14.5 Integration Services数据流引擎 342 14.5.1 数据流缓冲区 342 14.5.2 同步数据流输出 346 14.5.3 异步数据流输出 346 14.6 日志提供程序 346 14.7 部署Integration Services包 347 14.7.1 包配置 347 14.7.2 包部署选项 348 14.8 小结 348 第15章 用Business Intelligence Development Studio创建Microsoft SQL Server 2008 Integration Services包 349 15.1 Visual Studio 2008中的Integration Services 349 15.1.1 使用Integration Services项目模板创建新SSIS项目 350 15.1.2 在“解决方案资源管理器”中查看SSIS项目 351 15.1.3 使用SSIS包设计器 352 15.1.4 使用SSIS工具箱 353 15.1.5 SSIS菜单选项 354 15.2 连接管理器 355 15.2.1 标准数据库连接管理器 355 15.2.2 其他类型的连接管理器 356 15.3 控制流 356 15.3.1 控制流任务 358 15.3.2 控制流容器 360 15.3.3 优先约束 360 15.4 数据流 362 15.4.1 数据流源组件 363 15.4.2 目标组件 364 15.4.3 转换组件 364 15.4.4 Integration Services数据查看器 366 15.5 变量 367 15.5.1 “变量”窗口 367 15.5.2 变量属性 368 15.5.3 系统变量 369 15.6 表达式 369 15.7 小结 371 第16章 Microsoft SQL Server 2008 Integration Services的高级功能 372 16.1 Integration Services中的错误处理 372 16.2 SSIS中的事件、日志、调试和事务 373 16.3 日志记录和事件 374 16.4 调试Integration Services包 377 16.5 检查点和事务 378 16.6 设计Integration Services包的最佳实践 380 16.7 数据事件探查 381 16.8 小结 384 第17章 商业智能解决方案中的Microsoft SQL Server 2008 Integration Services包 385 17.1 商业智能的ETL 385 17.2 加载OLAP多维数据集 385 17.2.1 使用Integration Services检测数据质量 386 17.2.2 转换源数据 388 17.2.3 使用中间服务器 388 17.2.4 数据沿袭 392 17.3 转移到星形架构加载 393 17.3.1 加载维度表 393 17.3.2 加载事实数据表 394 17.4 更新 397 17.4.1 事实数据表更新 398 17.4.2 维度表更新 398 17.5 数据挖掘的ETL 399 17.5.1 初始加载 399 17.5.2 模型定型 400 17.5.3 数据挖掘查询 401 17.6 小结 402 第18章 在Microsoft SQL Server 2008 Integration Services中部署和管理解决方案 403 18.1 Integration Services中的解决方案和项目结构 403 18.2 源代码控制 403 18.3 部署问题 407 18.3.1 包配置 409 18.3.2 复制文件部署 411 18.3.3 BIDS部署 412 18.3.4 使用部署实用工具部署 414 18.4 SQL Server代理和集成服务 416 18.4.1 SSIS包安全性介绍 416 18.4.2 处理敏感数据和代理执行账户 419 18.4.3 安全性:两个规则 420 18.5 SSIS服务 420 18.6 小结 421 第19章 扩展和集成SQL Server 2008 Integration Services 422 19.1 SSIS脚本介绍 422 19.2 Visual Studio Tools for Applications 423 19.3 脚本任务 423 19.3.1 Dts对象 425 19.3.2 调试脚本任务 426 19.4 脚本组件 426 19.4.1 ComponentMetaData属性 431 19.4.2 源、转换和目标 432 19.4.3 调试脚本组件 436 19.5 自定义SSIS任务和组件开发概述 436 19.5.1 控制流任务 439 19.5.2 数据流组件 440 19.5.3 其他组件 440 19.6 自定义应用程序中的SSIS集成概述 442 19.7 小结 444 第四部分 Microsoft SQL Server Reporting Services及商业智能的其他客户端界面 第20章 用SQL Server 2008 Reporting Services创建报表 447 20.1 了解Reporting Services的架构 447 20.2 安装和配置Reporting Services 449 20.2.1 HTTP侦听器 451 20.2.2 报表管理器 451 20.2.3 报表服务器Web服务 451 20.2.4 身份验证 452 20.2.5 后台处理(作业管理器) 453 20.3 使用BIDS创建报表 453 20.3.1 其他类型的报表 460 20.3.2 报表示例 460 20.4 部署报表 461 20.5 小结 462 第21章 创建SQL Server 2008 Reporting Services报表 463 21.1 将查询设计器用于Analysis Services 463 21.1.1 MDX查询设计器 464 21.1.2 在查询中设置参数 466 21.1.3 DMX查询设计器 467 21.1.4 在BIDS中使用报表设计器 469 21.2 理解报表项 471 21.2.1 列表和矩形报表项 471 21.2.2 Tablix数据区域 472 21.3 使用报表生成器 474 21.4 小结 477 第22章 高级SQL Sever 2008 Reporting Services 478 22.1 向SSRS报表添加自定义代码 478 22.2 在Word或Excel 2007中查看报表 480 22.3 URL访问 480 22.4 嵌入自定义ReportViewer控件 481 22.5 关于报表参数 485 22.6 关于安全凭据 485 22.7 关于SOAP API 486 22.8 部署——可伸缩性和安全性 490 22.8.1 性能和可伸缩性 490 22.8.2 高级内存管理 491 22.8.3 扩展 492 22.9 管理脚本 493 22.10 小结 494 第23章 用Microsoft Excel 2007作为OLAP多维数据集客户端 495 23.1 使用数据连接向导 495 23.2 使用“导入数据”对话框 497 23.3 理解“数据透视表”界面 497 23.4 创建示例数据透视表 499 23.5 脱机OLAP 501 23.6 Excel OLAP函数 502 23.7 扩展Excel 502 23.8 小结 503 第24章 用Microsoft Office 2007作为数据挖掘客户端 504 24.1 安装数据挖掘外接程序 504 24.2 数据挖掘和Excel 2007的集成 505 24.2.1 使用表分析工具组 506 24.2.2 在Excel 2007中使用“数据挖掘”选项卡 514 24.2.3 “管理”和“模型用法” 515 24.2.4 “数据准备”组 517 24.2.5 “数据建模”组 519 24.2.6 “准确性和验证”组 522 24.3 Visio 2007中的数据挖掘集成 523 24.4 客户端可视化 527 24.5 云形图中的数据挖掘 528 24.6 小结 528 第25章 SQL Server商业智能和Microsoft Office SharePoint Server 2007 529 25.1 Excel Services 529 25.1.1 Excel Services的基本架构 530 25.1.2 Excel工作表的永久性 531 25.1.3 Excel Services工作表的介绍性示例 531 25.1.4 发布参数化Excel工作表 533 25.1.5 Excel Services:Web Services API 535 25.1.6 实际的Excel Services示例 536 25.2 SQL Server Reporting Services与Office SharePoint Server 2007 538 25.2.1 使用Office SharePoint Server 2007配置SQL Server Reporting Services 539 25.2.2 创建并部署一个报表 539 25.2.3 在Office SharePoint Server 2007中使用报表:本机模式 541 25.2.4 在Office SharePoint Server 2007中使用报表:SharePoint集成模式 542 25.2.5 使用报告中心模板 544 25.3 PerformancePoint Server 545 25.4 小结 545 作者介绍 -------------------------------------------------------------------------------- 作者:(美国)兰吉特(Lynn Langit) (美国)Kevin S.Goff (美国)Davide Mauri 等 译者:张猛 杨越 朗亚妹 等 Lynn Langit,MicrosoftMSDN团队的一位开发人员讲师。在加入微软公司之前,Lynn创办了一家提供B0解决方案的开发公司,并担任首席架构师。她拥有很多Microsoft认证,包括MCITP、MCSD、MCDBA和MCT。 Kevin S,Goff,Microsoft MVP和培训师,还是Microsoft金牌认证合作伙伴项目的BI实践负责人。拥有MCP、MCAD、MCDBA和MCT认证。 Davide Mauri,Microsoft MVP,他从65版起就一直使用SQL Server。Sahil Malik咨询师和培训师,多年的Microsoft MVP和INETA发言人。 John Welch ,crosoft MVP,一家专攻BI解决方案的咨询公司的首席架构师。 -------------------------------------------------------------------------------- 9.5.4 链接 在准备处理多维数据集的时候,还有另外两个配置选项和功能需要考虑,即链接对象和写回.我们还要研究有关错误处理的设置(在“多维数据集和维度处理选项”一节),因为根据业务需求不同,这些配置也很重要,而且它们的配置值会影响多维数据集的处理时间。我们先从链接对象开始。 链接对象是需要与当前操作的SSAS数据库相关联的、来自其他SSAS数据库(Analysis Services 2008或Analysis Services 2005)的SSAS对象,如度量值组或维度。链接对象也可以包含KPI、操作和计算。链接对象选项可以用来克服SSAS 2008一个多维数据集只能基于一个数据源视图的局限性。它还可以实现某种伸缩性,因为可以使用多个服务器提供数据查询。 SSAS中使用链接对象的功能默认是禁用的。如果想使用这个选项,需要在SSMS中启用它,需将SSMS连接到SSAS,在SSAS服务器实例上单击右键,选择“属性”选项,然后启用链接。
商业智能(BI)项目可行性研究报告 21 / 21 商业智能BI)项目 第一章、商业智能(BI)项目总体介绍 第一节、项目名称 商业智能BI)项目 第二节、商业智能BI)概念 商业智能又名商务智能,英文为Business Intelligence,简写为BI商业智能通常被理解为将企业中现有的数据转化为知识,帮助企业做出明智的业务经营决策的工具。这里所谈的数据包括来自企业业务系统的订单、库存、交易账目、客户和供应商等来自企业所处行业和竞争对手的数据以及来自企业所处的其他外部环境中的各种数据。而商业智能能够辅助的业务经营决策,既可以是操作的,也可以是战术和战略的决策。为了将数据转化为知识,需要利用数据仓库、联机分析处理(OLAP)工具和数据挖掘等技术。 可以认为,商业智能是对商业信息的搜集、管理和分析过程,目的是使企业的各级决策者获得知识或洞察力(insight),促使他们做出对企业更有利的决策。商业智能一般由数据仓库、联机分析处理、数据挖掘、数据备份和恢复等部分组成。商业智能的实现涉及到软件、硬件、咨询服务及应用,其基本体系结构包括数据仓库、联机分析处理和数据挖掘三个部分。 因此,把商业智能看成是一种解决方案应该比较恰当。商业智能的关键是从许多来自不同的企业运作系统的数据中提取出有用的数据并进行清理,以保证数据的正确性,然后经过抽取(Extraction)、转换(Transformation)和装载(Load),即ETL过程,合并到一个企业级的数据仓库里,从而得到企业数据的一个全局视图,在此基础上利用合适的查询和分析工具、数据挖掘工具、OLAP工具等对其进行分析和处理(这时信息变为辅助决策的知识),最后将知识呈现给管理者,为管理者的决策过程提供支持。 商业智能(BI)项目可行性研究报告全文共21页,当前为第1页。 商业智能(BI)项目可行性研究报告全文共21页,当前为第1页。 第三节、项目产生背景 急切的分析型需求 中国经济经历90年代以来快速发展的20年,在2000年前后,很多企业都陆续积极建设核心业务系统,电讯行业的计费系统、生产制造的MES、零售分销行业的ERP系统等等都基本在这一时期快速得于实现,这些系统是让操作人员在工作流程化规范化方面取得了长足进步,资金流得到严格控制和监管。 随着这些系统的完善特别是业务系统数据的积累,公司业务分析及决策人员越来越发现,基于业务系统基础数据的各种分析对其决策非常有帮助,在工作过程中有越来越依赖系统数据的趋势,这一时期其分析工作普遍是如下流程: 1、先从业务系统导数据到Excel,然后通过灵活的Excel进行加工,最后生成漂亮的报表; 2、生成的报表除了支持自己工作之外,还需要传递到相关部门和领导。 在这个分析过程中普遍存在如下突出问题: 1、业务系统压力大:业务系统数据量越来越大,从业务系统查数据导数据越来越慢,并且频繁的导数据,把业务系统也给拖死; 2、手工报表时间长:导数据,再加上Excel数据加工时间,通常,出个周报、月报最少需要1-2天时长,耗时太长; 3、数据不统一:每个部门都有分析人员,大家都在各自出报表和做分析,数据和分析结果难于共享,并且汇总到领导那里数据容易"打架",数据不统一; 4、决策难于深化:大量时间在做数据处理,没时间分析,分析发现问题之后难于做相关分析,除非再花几天时间;最终造成员工很忙,领导很急; 在电子商务行业,其核心数据还是一些日志,比如点击日志、搜索日志等等,这些数据一开始就非常庞大,相比较传统行业还可以导出来Excel处理,在这个行业,Excel的数据支撑能力是无能为力的,只有BI起来之后才可能做的了该类分析。 这些问题在业务系统运营之后都存在,并且随着时间的推移,特别是发展快的公司带来数据量的激增,问题更加明显。 企业精细化管理需要BI支撑 商业智能(BI)项目可行性研究报告全文共21页,当前为第2页。精细化管理的核心思想还是快、精、准,几个基本要求都需要BI的强力支撑: 商业智能(BI)项目可行性研究报告全文共21页,当前为第2页。 1、 快,要求自上而下的实时把控,第一时间发现问题需要BI支持,特别是高领导对全公司问题都能够第一时间发现就需要把各种流程控制系统里面数据拿出来进行分析,发现异常; 2、精,能对问题追根溯源,需要BI的向下钻取、向上汇总、交叉分析、关联分析等基本技术支撑,否则看到问题也不知道原因在哪里; 3、 准,还就是要求问题落实到人,问题出在谁身上?谁该受到惩罚?谁该进行工作改进? 数据里面的知识可以帮助企业进行优化升级 数据-知识-操作-数据这样一个信息闭环其实就是实践-总结-再实践的一个螺旋式上升过程,在这个过程中如果缺少数据到知识的一步那就是简单重复的操作,而加入知识总结这样一个分析之后的实践,则是

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值