商业智能之数据处理
摘要:近几年, 随着商业信息化技术的发展, 企业在长期发展中积累了大量的业务数据, 这些业务数据中存在较大的商业价值信息, 在如今激烈的市场竞争下必须对这些业务数据进行数据挖掘分析, 提取有用价值信息, 为企业销售提供参考依据, 促进企业经济效益的提高。在科学技术的推动下, 一种基于商业智能的并行数据挖掘技术被广泛应用于数据分析中, 能够提高数据挖掘效率, 改善企业经营现状。随着商业信息化技术的发展, 企业在长期发展中积累了大量的业务数据, 这些业务数据中存在较大的商业价值信息, 在如今激烈的市场竞争下必须对这些业务数据进行数据挖掘分析, 提取有用价值信息, 为企业销售提供参考依据, 促进企业经济效益的提高。在科学技术的推动下, 一种基于商业智能的并行数据挖掘技术被广泛应用于数据分析中, 能够提高数据挖掘效率, 改善企业经营现状。
关键词:商业智能;OLAP;数据挖掘
1、研究背景
伴随着大量数据的持续增长, 代表着大数据时代的应运而生, 这也使得人们对数据越来越感兴趣并进行充分的研究与利用, 对于数据的分析与提取, 数据挖掘技术成为新一代技术的典型代表。在商业营销领域, 二维码、条形码技术的频繁应用形成了大批量的数据。从销售层面上来讲, 可以通过对数据的分析来挖出用户所倾向的购物行为, 从而使得商家针对性的促销商品并提高自己的竞争力[1]。在个人信誉测评方面, 目前很多银行或企业通过数据分析的软件, 定期的对个人的信誉度进行检查来判定其否有良好的信誉, 从而决定是否可以为其贷款。数据挖掘技术还被应用于识别用户访问资源的行为上, 主要来判别用户否为合法用户, 进行诈骗甄别主要是利用总结出的正常行为和异常行为之间的关系, 得出行为的相关特征, 可以对一些不法行为直接进行拦截或屏蔽。在这种背景下数据战备意义显得尤为重要, 因此, 大数据时代下对于数据挖掘[2]问题的研究具有积极的意义。
2、历史发展
1865年,理查德·米勒·德文斯在《商业趣闻百科全书》中提出了“商业智能”(BI)一词。1958年,IBM计算机科学家汉斯·彼得·卢恩撰文讨论了利用技术来收集商业智能的潜力。1970年,埃德加·科德发表文章,改变了人们思考数据库的方式。他关于建立“关联式数据库模型”的提议获得了巨大关注,被全世界所采纳。
决策支持系统(DSS)是第一个数据库管理系统。上世纪80年代,商业人士发现了商业智能的价值,于是BI供应商的数量大增。那期间,各种各样的工具纷纷面世,目标是以更简单的方式访问和组织数据。联机分析处理(OLAP)、主管信息系统(EIS)和数据仓库应运而生,与DSS协同工作。
OLAP:OLAP让用户可以分析多来源数据,并提供多个范式或视角。OLAP的数据库采用多维数据模型,支持复杂分析和即席查询。它的标准应用包括:销售业务报告、营销、管理报告、业务流程管理(BPM)、预算编制和预测、财务报告和类似领域、新应用。作为基于SQL的程序,OLAP在NoSQL流行起来后,就渐渐失势。(现在,Kyvos Insights、Platfora和AtScale等公司把OLAP叠加到NoSQL库之上。)OLAP支持合并、下钻、切片和切丁三个基本操作。
EIS:上世纪70年代末EIS诞生,为高管提供决策方面的支持。EIS旨在提供“简化”决策过程所需的适当和最新信息,强调以图表和易用界面的方式,来呈现这些信息。EIS的目标是让高管自己处理邮件、进行研究、作出任命和阅读报告,而不是通过中间人接收这些信息。
数据仓库:上世纪80年代,企业开始经常使用内部数据分析解决方案,因此数据仓库开始流行。数据仓库大幅缩短了访问数据所需的时间。通常储存在多个地方(往往是部门筒仓)的数据,现在可以储存在同一个地方。
商业智能迈向高科技:1988年,在罗马举行的多路数据分析大会结束后不久,商业智能开始作为一个技术概念出现。在这场大会上得出的结论促使人们开始简化BI分析,并使之对用户更加友好。BI企业大量涌现,每家新公司都提供新的BI工具。在那个时期,BI有两项基本功能:产生数据和提供报告,并以适当的方式组织和呈现数据。20世纪末、21世纪初,BI服务开始提供简化的工具,降低决策者对工具的依赖度。这些工具更易于使用,而且提供所需的功能,非常有效。商业人士可以通过直接与数据打交道的方式,收集数据,获取洞见。
商业智能