第五周综述（商业智能之数据处理）

商业智能之数据处理

 

摘要：近几年, 随着商业信息化技术的发展, 企业在长期发展中积累了大量的业务数据, 这些业务数据中存在较大的商业价值信息, 在如今激烈的市场竞争下必须对这些业务数据进行数据挖掘分析, 提取有用价值信息, 为企业销售提供参考依据, 促进企业经济效益的提高。在科学技术的推动下, 一种基于商业智能的并行数据挖掘技术被广泛应用于数据分析中, 能够提高数据挖掘效率, 改善企业经营现状。随着商业信息化技术的发展, 企业在长期发展中积累了大量的业务数据, 这些业务数据中存在较大的商业价值信息, 在如今激烈的市场竞争下必须对这些业务数据进行数据挖掘分析, 提取有用价值信息, 为企业销售提供参考依据, 促进企业经济效益的提高。在科学技术的推动下, 一种基于商业智能的并行数据挖掘技术被广泛应用于数据分析中, 能够提高数据挖掘效率, 改善企业经营现状。

 

关键词：商业智能；OLAP；数据挖掘

 

1、研究背景

伴随着大量数据的持续增长, 代表着大数据时代的应运而生, 这也使得人们对数据越来越感兴趣并进行充分的研究与利用, 对于数据的分析与提取, 数据挖掘技术成为新一代技术的典型代表。在商业营销领域, 二维码、条形码技术的频繁应用形成了大批量的数据。从销售层面上来讲, 可以通过对数据的分析来挖出用户所倾向的购物行为, 从而使得商家针对性的促销商品并提高自己的竞争力[1]。在个人信誉测评方面, 目前很多银行或企业通过数据分析的软件, 定期的对个人的信誉度进行检查来判定其否有良好的信誉, 从而决定是否可以为其贷款。数据挖掘技术还被应用于识别用户访问资源的行为上, 主要来判别用户否为合法用户, 进行诈骗甄别主要是利用总结出的正常行为和异常行为之间的关系, 得出行为的相关特征, 可以对一些不法行为直接进行拦截或屏蔽。在这种背景下数据战备意义显得尤为重要, 因此, 大数据时代下对于数据挖掘[2]问题的研究具有积极的意义。

 

2、历史发展

1865年，理查德·米勒·德文斯在《商业趣闻百科全书》中提出了“商业智能”（BI）一词。1958年，IBM计算机科学家汉斯·彼得·卢恩撰文讨论了利用技术来收集商业智能的潜力。1970年，埃德加·科德发表文章，改变了人们思考数据库的方式。他关于建立“关联式数据库模型”的提议获得了巨大关注，被全世界所采纳。

　　决策支持系统（DSS）是第一个数据库管理系统。上世纪80年代，商业人士发现了商业智能的价值，于是BI供应商的数量大增。那期间，各种各样的工具纷纷面世，目标是以更简单的方式访问和组织数据。联机分析处理（OLAP）、主管信息系统（EIS）和数据仓库应运而生，与DSS协同工作。

OLAP：OLAP让用户可以分析多来源数据，并提供多个范式或视角。OLAP的数据库采用多维数据模型，支持复杂分析和即席查询。它的标准应用包括：销售业务报告、营销、管理报告、业务流程管理（BPM）、预算编制和预测、财务报告和类似领域、新应用。作为基于SQL的程序，OLAP在NoSQL流行起来后，就渐渐失势。（现在，Kyvos Insights、Platfora和AtScale等公司把OLAP叠加到NoSQL库之上。）OLAP支持合并、下钻、切片和切丁三个基本操作。

EIS：上世纪70年代末EIS诞生，为高管提供决策方面的支持。EIS旨在提供“简化”决策过程所需的适当和最新信息，强调以图表和易用界面的方式，来呈现这些信息。EIS的目标是让高管自己处理邮件、进行研究、作出任命和阅读报告，而不是通过中间人接收这些信息。

　　数据仓库：上世纪80年代，企业开始经常使用内部数据分析解决方案，因此数据仓库开始流行。数据仓库大幅缩短了访问数据所需的时间。通常储存在多个地方（往往是部门筒仓）的数据，现在可以储存在同一个地方。

　　商业智能迈向高科技：1988年，在罗马举行的多路数据分析大会结束后不久，商业智能开始作为一个技术概念出现。在这场大会上得出的结论促使人们开始简化BI分析，并使之对用户更加友好。BI企业大量涌现，每家新公司都提供新的BI工具。在那个时期，BI有两项基本功能：产生数据和提供报告，并以适当的方式组织和呈现数据。20世纪末、21世纪初，BI服务开始提供简化的工具，降低决策者对工具的依赖度。这些工具更易于使用，而且提供所需的功能，非常有效。商业人士可以通过直接与数据打交道的方式，收集数据，获取洞见。

　　商业智能