一、 BI:
因为BI先出现,我们先来看一下BI是什么? BI是什么?
下面的定义,我们摘自百度百科: BI(Business Intelligence)即商业智能,它是一套完整的解决方案,用来将企业中现有的数据进行有效的整合,快速准确的提供报表并提出决策依据,帮助企业做出明智的业务经营决策。
商业智能的概念最早在1996年提出。当时将商业智能定义为一类由数据仓库(或数据集市)、查询报表、数据分析、数据挖掘、数据备份和恢复等部分组成的、以帮助企业决策为目的技术及其应用。而这些数据可能来自企业的ERP、CRM、SCM等业务系统。
商业智能能够辅助的业务经营决策,既可以是操作层的,也可以是战术层和战略层的决策。为了将数据转化为知识,需要利用数据仓库、联机分析处理(OLAP)工具和数据挖掘等技术。商业智能的关键是从许多来自不同的企业运作系统的数据中提取出有用的数据并进行清理,以保证数据的正确性,然后经过抽取(Extraction)、转换(Transformation)和装载(Load),即ETL过程,合并到一个企业级的数据仓库里,从而得到企业数据的一个全局视图,在此基础上利用合适的查询和分析工具、数据挖掘工具、OLAP工具等对其进行分析和处理(这时信息变为辅助决策的知识),最后将知识呈现给管理者,为管理者的决策过程提供数据支持。
我们再来说一说我们的理解:我们认为,BI主要解决的是从数据到决策的这么一个过程。
首先,数据是起点,也是基础。ERP中已经积累了大量数据,但是,这些数据却是按照单据与流程的需要而存贮的,对于管理者来说,就显得有些杂乱无章,他们期望看到的数据是简单而直观的,所以,我们就需要将数据进行抽取、与清洗,将之转换为有价值的信息。这个过程就是ETL。
那么,信息如何转变为知识呢?知识管理的一个重要工作就是将某个特定人脑中的经验,变的可复制。在这里,这个过程就是建模的过程。将不同分析主题的分析视角(维度)与分析内容(度量)固化下来,这样不管谁来用,都知道原来可以从这些角度来分析这么多的指标。
再看最后一条路径,就是最终辅助决策。在这里,决策不是少数高管的专利。管理学中有一个著名的“木桶理论”,就是说,一个木桶很装多少水,并不取决于木桶最长的木板,而取决于最短的那根。而对于企业管理来说,不管董事长、总经理的决策水平多高,都是没有意义的,关键在于各级管理人员都能理解且执行到位。所以,通过一个数据分析平台的建立,让所有的管理者都看到统一的数据(当然是有权限控制的),都能基于数据去决策与执行,这样,才能真正提升企业的整体决策水平。
所以,上述数据链条,实际就是BI的技术实现路径。总结下来就三点:ETL、建模与平台化展现。这三项技术,一个都不能少。
二、大数据:
然后,我们再来说一下大数据。我们还是从百度百科摘一下它的定义:
对于“大数据”(Big data)研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。
麦肯锡全球研究所给出的定义是:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。
大数据需要特殊的技术,以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术,包括大规模并行处理(MPP)数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
到底多少数据量才算大数据?到底是结构化的,还是非结构化的?到底是要精确的真实的?......
如果我们冷静的思考一下,就会发现,大数据与我们息息相关(大数据已经融入了我们衣食住行的每个角落),但同时又会发现,大数据所涉及到的这些特殊技术,离我们又是那么的遥远。
我们还是来看看,大数据到底改变了什么?它其实就是通过海量的数据处理,让我们做决策时变的更轻松,更靠谱。比如我们在网上购物时,它首先会告诉你某个商品有多个人评价,评价越多,也就意味着越多人买;当你点击去之后,就可以看到好评度是95%,还是98%?如果是在360浏览器中打开的话,还有一个价格趋势,告诉你历史价位走势如何,其他电商平台是不是更便宜?除此之外,还有其他同类或同价位商品的推荐与排名等。有了这些信息,你就掌握了做一个购买决策时的几个关键信息:
1、这款商品好不好卖?
2、这款商品口碑好不好?
3、这个价格便不便宜,现在是不是最便宜的时候?
4、有没有其他更好的商品?——这个时候,是否将这个商品改进购物篮并付款,做这个决定变得非常轻松。
那它是怎么做到的呢?就是化繁为简,将海量的数据,归纳整理为几个简单的指标。 好吧,说到这里,你是不是发现,这好像又与BI非常相似呢?是的,如果我们将大数据定义为结构化的精确数据的价值挖掘,那么,它就是BI。
所以,我们一句话概括一下,BI就是一种简化的大数据工具。
三、二者的区别
BI商业智能 | 大数据 | |
信息量 | 不太大,常为TB量级 | 大,常为PB量级 |
信息特征 | 结构化信息,非实时信息 | 主要为非结构化信息,如文本、图形、音频、视频、摇杆遥测信息……,大多是实时信息。 |
信息来源 | 主要为企业交易数据 | 主要是社会日常运作和各种服务中实时产生的数字数据,如在线搜索、新闻、博客、微信等社交媒体、移动电话和短信、热线、电子商务交易、摇杆遥测数据…… |
涉及技术 | 数据库、数据挖掘 | 云计算、大数据 |
关联关系 | BI是达成业务管理的应用工具。没有BI,大数据就没有了转化为价值的工具,没办法变成决策的依据。 | 大数据是基础,没有大数据,BI就失去了存在的基础;同样,未来,BI的发展方向是“极速、实时、智能”。要能够快速、实时地看到通过大数据产生的库存、账单等信息,还要建立业务模型和数据模型,让大数据按照业务逻辑展现,这也是HANA、Exalytics等新兴技术受欢迎的主要原因。” |
数据来源 | 结构化数据 | 大数据能够基于BI工具进行大容量数据和非机构化数据进行处理,与传统基于事务的数据仓库系统相比较,大数据分析不仅关注结构化的历史数据,它们更倾向去对Web、社交网络、RFID传感器等非结构化海量数据进行分析,大数据无疑是对BI的一个完美补充。 |
精确性要求 | 高 | 不高 |
因果与关联 | 重因果性分析 | 重关联性分析 |
效益 | 通过数据分析提高运营能力 | 那些有很大价值的数据,将更有利于我们深入了解业务运转和与客户的互动。 |
另外,从概念、应用、发展趋势等多个角度对大数据和BI进行区分:
| BI(Business Intelligence) | 大数据(big data) |
从概念的角度区分
| 是一套完整的解决方案,用来将企业中现有的数据进行有效的整合,快速准确地提供报表并提出决策依据,帮助企业做出明智的业务经营决策。 | 是无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力。简单而言,大数据更偏重于发现、预测并印证的过程。 |
从数据来源的角度区分 | 数据很多是来自数据库的结构化数据分析。在企业内部实施BI应用就是为了可以更好的对数据进行分享和使用。 | 数据来源包括内部数据和外部数据,有很大一部分数据是包括音频、视频、图像在内的非结构化数据,或是半结构化数据。这类数据通过大数据管理的方式进行整合,然后用BI的方法进行分析挖掘处理。 |
从应用的角度区分 | 涉及的应用科学包括:终端用户查询和报告工具、数据挖掘软件、数据仓库产品。主流的商业智能工具包括BO、COGNOS、Style Intelligence、BRIO。一些国内的软件工具平台如KCOM也集成了一些基本的商业智能工具。 | 应用几乎涉及到社会生活的方方面面,如医疗行业、金融行业、体育行业、安全执法、城市改善等等。当然,大数据所涵盖的领域不止这些,未来还会有许多新的行业和领域利用大数据的应用进行规划和发展。 |
从决策者的角度区分 | BI更倾向于决策,对事实描述更多是基于群体共性,帮助决策者掌握宏观统计趋势,适合经营运营指标支撑类问题;大数据则内涵更广,倾向于刻画个体,更多的在于个性化的决策。 |
|
从人员技能角度区分 | 经过简单的培训,业务人员都能上任。 | 大数据的数据处理,涉及很多新的技术,不同的应用场景需要不同的大数据处理方法,需要有人专门进行研究和探索。 |
从发展趋势的角度区分 | 从单独的商业智能向嵌入式商业智能发展,从传统功能向增强型功能转变,从传统型BI向敏捷型BI转变。 | 数据的资源化,与云计算的深度结合,数据管理成为核心竞争力,数据生态系统复合化程度加强,数据质量是BI(商业智能)成功的关键,数据泄露泛滥。 |
四、国内的几个BI厂商:
奥威智动Power-BI,SmartBI,用友BQ等。