作者:miao君
链接:https://www.zhihu.com/question/20357162/answer/142407798
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

可以参考这个问题的回答 ——如何看待大数据BI技术? - 知乎

1、关于BI和大数据

BI(BusinessIntelligence)即商业智能,它是一套完整的解决方案,用来将企业中现有的数据进行有效的整合,快速准确的提供报表并提出决策依据,帮助企业做出明智的业务经营决策。

大数据(Big Data)是指在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

不管定义如何不同,大数据与传统BI是社会发展到不同阶段的产物,大数据对于传统BI,既有继承,也有发展,从"道"的角度讲,BI与大数据区别在于前者更倾向于决策,对事实描述更多是基于群体共性,帮助决策者掌握宏观统计趋势,适合经营运营指标支撑类问题,大数据则内涵更广,倾向于刻画个体,更多的在于个性化的决策

当然纯粹从思想的角度讲,两者在概念上是可以实现统一的,都遵循数据-信息-知识-智慧这个脉络,甚至在更高的层次,两者也是可以统一的。

2、两者技术上有什么相关性?

传统BI的技术标签:ETL、数据仓库、OLAP、可视化报表。

大数据的技术标签:Hadoop、MPP、HDFS、MapReduce、流处理等。

v2-9135ad206934d55098a2f41f5bdca971_hd.jpg

传统BI就目前来讲,其功能都可以被对应的大数据组件所替代,但大多数企业缺乏大数据业务的驱动,也缺乏相关的高技术人才。

不过新型BI被赋予了更多“大数据”潜能。正如图右侧架构所示,BI架设在大数据应用层,抽取etl后或者Hive来的数据又可作通用类的业务分析。既满足了海量实时数据分析,也满足了决策型的业务分析。


3、企业应该青睐大数据还是商业智能BI?

在技术领域,虽然传统BI的ETL、数据仓库、OLAP、可视化报表技术都似乎处于落后边缘,因为它解决不了海量数据的处理问题,但也并不能全盘否定或替代成大数据。企业采用SAP HANA,BI的分布式计算都是基于这个问题优化的方案。BI的那套也将长期存在,毕竟企业对BI方案还是很青睐,大数据的普及和应用也是个漫长的过程。

企业应该选择大数据还是商业智能。

大数据不是绣花枕头,它的第一要务就是解决业务问题,大数据一定程度上讲就是用全新的数据技术手段来拓展和优化业务,传统企业需要聚集一拨人来研究这个问题,需要有人专门研究和探索。如果对外,想清楚新的商业模式,如果对内,想清楚在哪个场景,可以用大数据的手段来提升效率。

当前大数据可以产生价值的地方,从行业的角度看,互联网、制造业、公共服务、医疗保健、金融服务都有广阔前景。从领域的角度看,广告、营销、风控、供应链都是大数据发挥价值的地方,对于特定企业,比如电信运营商,大数据也可以在网络优化等方面提供新的方法。

也并不是每个企业都需要打造自己的大数据平台,量力而行吧,可以自研 ,比如BAT,也可以采购,比如传统大企业,也可以租用,比如用阿里云和AWS。

就事实来讲,BI的应用是远远大于大数据应用的,有其通用的道理。大数据相对于传统BI,也不仅仅是简单的PLUS的关系,它涉及了思想、工具和人员深层次的变革,BI人员既不要一提大数据,就嗤之以鼻,认为它是新包装的马甲,其实就那么回事;也不需妄自菲薄,以为搞大数据就那么高大上,它的确是BI大多数思想的传承。

4、BI和大数据的价值

个人之见,BI创造的价值是长远的,关键的价值在于,企业可通过BI梳理业务和管理流程。通过数据可视化督促数据治理,倒逼数据质量,借此提出指标的改进方案和行动计划,以提升关键指标。

而BI在实施中过程中最难也是最关键的,引用《一个成功的BI项目实施需要注意哪些?

1、数据质量和数据口径统一的问题;

2、项目团队组建,能够获得领导和企业上层的支持,借用他们的力量来推动进程。

 




首先,我认为要了解hadoop和大数据的关系。

可以参考话题 hadoop和大数据的关系?和spark的关系?互补?并行?

Hadoop是用于解决大数据存储和处理的主流的分布式计算系统。基于hadoop的大数据战略和基于其他分布式计算系统的战略,我认为大体相同,各有优劣势,看实际场景如何选择。

第二,传统BI和大数据的关系。

传统BI和大数据之间并不是对立关系。首先我们看下BI的介绍。

“商业智能的概念在1996年最早由加特纳集团(Gartner Group)提出,加特纳集团将商业智能定义为:商业智能描述了一系列的概念和方法,通过应用基于事实的支持系统来辅助商业决策的制定。商业智能技术提供使企业迅速分析数据的技术和方法,包括收集、管理和分析数据,将这些数据转化为有用的信息,然后分发到企业各处。” 以上转自商业智能_百度百科

BI广义上代表一系列的概念和方法,目标是把数据转换为有用的信息。那么小数据、大数据对于BI来说,其实本质没有什么区别。只是中间的存储和处理数据技术上不相同。目前来看,国内大部分大数据项目实施的时候,只是在原有的数据仓库理念上进行了适当变形。

BI在狭义上是指的数据分析工具,对于数据分析工具来说,基于大数据,只是支持的数据源和调用方法不相同,最后的产出是一样的。

第三,针对题主的问题,我理解如下

问题1,对于Big Data 来说,确实大部分数据是非结构化数据,但传统BI也并不是不解决非结构化数据的问题。只不过Big Data下,大家对非结构化数据的问题关注越来越大了,这部分数据的价值一直没有被利用。所以对于非结构化数据的处理整合能力确实是大数据时代的挑战。但即使是非结构化数据,最后依然也是转成结构化的信息被利用。


问题2,BI实施中最重要的因素,我认为主要有三个方面

1、技术能力:对BI相关技术的熟练运用,这个是基础

2、行业经验:实施团队的项目实施经验、行业经验。有利于高质量、低风险的完成实施交付。比如数据质量的处理、ETL处理、产出的处理。

3、后期维护:稳定而持续的后期维护。BI不是一锤子买卖,需要根据业务变化,不断去调整。


问题3,BI创造价值最关键的因素,我认为主要是时效性和人。

时效性很重要,试想一份数据过了一个月才被产出价值,可能已经错过了最好的商业机会。

人,这里特指是数据分析业务人员,需要懂业务的专家配合技术人员一起,充分利用现有的数据,去分析和挖掘数据,找到数据规律和答案,辅助企业运营决策。

所有的技术都是为业务价值服务。没有业务价值,再好的技术能力也是浪费



相比于传统 BI,基于 Hadoop 的大数据(Big Data)更多是偏向是云端数据分析平台,不再是单纯的传统BI报表,而是能够集数据接入整合、数据处理、数据分析、数据可视化、数据存储、灵活的账号管理等功能,是集中企业内部数据的一种大数据平台,更加高性能、更加灵活,类似BDP商业数据平台这些新型的数据云平台,都是这类大数据平台比较典型的代表,也能受到各个领域用户的喜爱。