大数据会取代传统BI吗

BI一词早在20年前就被提出，加特纳集团将商业智能定义为描述一系列的概念和方法，通过应用基于事实的支持系统来辅助商业决策的制定。BI商业智能从国外兴起，当时IBM、SAP、微软等厂商无论是在BI的理念上还是技术上都做的比较出色。BI的风头经过了一段时间的蛰伏，于2000年初开始迎来春天，被国内许多企业所接纳，正式走向上升趋势。

如今，随着信息技术与经济社会的交汇融合引发了数据的迅猛增长，在数据量爆发的同时，也引起了许多企业的重视，数据已经成为企业发展的基础战略资源，成为企业解决分析的重要依据。与此同时，数据治理、数据可视化、数据分析、数据仓库、大数据等词汇被提出，借此BI商业智能又重新被炒火，造成很多人在大数据分析与BI商业智能的概念上混淆，事实上大数据分析与BI商业智能是两种不同的概念和工具，今天对未来大数据分析是否会取代传统BI进行探讨。

概念定义区分

若想区分两者的不同，首先就从浅层面说起，即两者的概念区分。

1 BI商业智能

BI（Business Intelligence）即商业智能，它是一套完整的解决方案，用来将企业中现有的数据进行有效的整合，快速准确地提供报表并提出决策依据，帮助企业做出明智的业务经营决策，既可以是操作层的，也可以是战术层和战略层的决策。

提到BI商业智能一定会提到数据仓库，数据仓库DW主要对多种业务数据进行筛选和整合，是提供所有类型数据支持的战略集合，可以用于数据决策分析、数据报表等场景。数据仓库是BI商业智能重要的一环，有些BI产品中数据仓库作为系统中的组件，用来支撑BI系统统一数据来源，存储所有系统数据库中的数据，简化数据的查询与组合。

2 大数据分析

大数据分析是指对规模巨大的数据进行分析，从收集的海量数据中，通过算法将这些来自不同渠道、格式的数据进行直接分析，从中找到数据之间的相关性，大数据可以概括为4个V， 数据量大(Volume)、速度快(Velocity)、类型多(Variety)、价值（Value）。

提到大数据分析常会伴随数据湖这一词，数据湖是一个集中式存储库，用来集中存储多来源（内外部系统、机器、传感器、社交网络）、多类型（结构化、非结构化、半结构化）的海量数据。数据湖与大数据分析技术进行良好融合，与大数据需要的Hadoop、Hbase、Spark、Storm等技术工具相互支撑，实现包括数据采集、处理、实时分析、机器学习、配置展现等技术环节，以达到更好的决策分析。

数据来源区分

BI商业智能与大数据分析的数据来源是不同侧重的，大数据分析的数据来源更广，它不仅涵盖BI所能获取的数据来源，还具备BI不能或不擅长获取的数据来源。

1 BI商业智能

BI商业智能分析的数据来源一般为企业内部信息化系统中的数据，BI在其中的作用更多的是对这些数据的集成，从数据的抽取到转换到装载，帮助企业实现内部数据交换和使用，对数据进行更好的运用。

2 大数据分析

大数据分析的数据来源不仅是局限于企业内部的信息化系统，还包括各种外部系统、机器设备、数据库的数据，如：政府、银行、国计民生、行业产业、社交网站等数据，其中数据结构多样化，包括：结构化数据、半结构化数据、非结构化数据。

技术运用区分

在技术的运用上，BI商业智能使用的是ETL、数仓、OLAP、可视化报表等传统技术。大数据分析采用的是Hadoop、流处理等解决海量数据（结构化、非结构化）传输问题，同时结合Spark、MPP、HBase等技术方式来实现数据的挖掘、计算、分析问题。

1 BI商业智能

随着时代的变革与技术的迭代，相应的，传统BI在技术上也经历了多次优化和变革，在数据处理的某些环节技术上已经在向大数据分析技术靠拢，但由于其基因定位，始终未能形成一整套的技术体系。BI的技术体系主要包括数据ETL的过程，数仓构建、联机分析处理的过程、数据配置展现的过程。

1.1 数据仓库

数据仓库是BI智能分析的基础，数据仓库能够从大容量的业务处理型数据库中抽取数据，处理、转换为新的存储格式。这部分技术的实现重点就是ETL（抽取、转换、装载）的过程，满足对数据挖掘的需求，具体为从来自不同企业系统的关系数据、平面数据文件中提取出关键分析数据，之后经过对各种业务数据的抽取和相关转化，按照目标需求转化为相应的格式，来满足数据仓库或数据集成对数据格式和内容挖掘的要求，随着技术发展，很多BI产品支持离线使用cube 数据存储，支持 cube 数据定时全量以及增量更新。

1.2 处理分析

在数据处理分析部分，BI商业智能通常采用OLAP联机分析处理技术，OLAP是数据仓库的主要应用，提供多维分析操作，支持复杂分析操作的同时，直观的为用户展现分析结果。OLAP的基本多维分析操作有钻取（roll up和drill down）、切片（slice）和切块（dice）、以及旋转（pivot）等，而时间、产品、数量、地区、人员、利润等都可以成为分析的维度，通过结合形成不同的分析指标。市面上很多BI产品基于OLAP分析组件实现如：维度切换、指标添加、数据预警、查询分析等功能，使用户从多个角度观察数据，发现数据的利用价值。

1.3 配置展现

数据配置展现是BI商业智能产品的亮点，数据灵活配置、可视化也是BI厂商技术实现及宣传的重点，配置方面他们推崇构建企业自己掌控的BI产品，用户可以根据展现需求自定义配置分析指标。展现方面，为达到更好的展现效果和更容易理解数据，BI注重将数据搭配适合的展现方式，记分卡、仪表盘等是较为常见的展现方式，同时用户可以自由更改数据过滤条件、切换维度和指标。随着移动时代到来，BI已经支持移动端与PC端一致的分析结果展示。

2 大数据分析

大数据分析技术相对于BI商业智能来说，不仅涵盖BI商业智能具备的技术，还包括一整套对于海量数据采集、处理、分析、展现的专用体系和工具，大数据分析包括数据采集、数据存储、数据汇聚、配置展现等过程。

2.1 数据采集

数据采集作为大数据分析的首个环节，技术上使用机器采集和爬虫工具来实现海量数据的采集，其中采集的数据包括结构化数据（应用系统数据、数据库数据、各种结构化文件、消息队列等）与非结构化数据（网络媒体、社交工具、机器设备、传感器等），采集数据后将这些数据整理、清洗、转换后，生成到一个新的数据集，为后续查询和分析处理提供统一的数据视图。在海量数据采集的过程中，通常数据的并发量会很大，所以一般会在采集端部署许多数据库来支撑不同类型的数据存储。

2.2 数据存储

大数据存储是将采集后生成的数据集持久化到计算机中，用于支撑数据的计算分析，而大数据的优势就是快速在海量数据中挖掘和预测相关信息，帮助业务人员做出关键性决策和风险防范，所以大数据会采用高性能、高吞吐率、大容量的基础设备来提供及时性或近及时性的数据供于分析，在大数据存储部分，对于简单的结构化数据，采用关系数据库即可实现，对于半结构化和非结构化数据，这就需要用到Hadoop、列存储数据库Cassandra、文档数据库MongoDB、图数据库Neo4j、K/V存储Redis等。

2.3 处理分析

处理分析部分主要是从数据中分析及预测出有用的信息供企业决策分析使用，包括对相关数据集的数据进行排序、归集，执行机器学习算法、实时流处理、分析预测等。处理分析部分基于Hadoop、Spark、Storm、Hive等计算框架以及数据库及时，通过Hadoop提供海量数据存储和分布式计算，HBase 技术提供海量数据的高效发布，图计算支持针对图的各种操作以及一些常用图算法。

除了对数据的处理分析，预测也是大数据算法应用中的核心功能，通常会在大数据分析中预置一系列机器学习算法库，构建回归、分类、聚类、关联规则挖掘、描述性统计等一系列的数据模型，实现对当前数据的深度挖掘、特征提取、行为分析、轨迹预测等，也可以结合流计算对实时数据提供流式计算的能力，实现实时追踪页面的访问统计，训练机器学习模型，自动化异常检测等，最终通过Open API的形式提供相应的服务，以供外部调用获取相关数据，支撑企业对大数据分析成果及数据价值的有效利用。

2.4 配置展现

大数据分析配置展现部分主要用来展示不同分析算法处理后的结果，包括导航配置、菜单配置、页面配置等，配置后将计算汇总结果用一种友好界面或表格形式展现出来，分析形式多样，包括：行列转置、钻取联动，同时，在交互方式上针对用户的操作方式、习惯，模拟推算用户的分析习惯，提供更友好、更具有针对性的交互服务。数据展现部分相比传统使用表格或文档展现数据的方式，展现形式更具多样化、丰富化，包括：饼图、柱状图、折线图、气泡图、面积图、省份地图、词云、瀑布图、漏斗图等酷炫图表，还包括自定义指标、表单查询等功能，展示页面良好支撑PC端与移动端的转换，并为企业建立数据战略室，以数字大屏形式为企业展现数据。

业务场景区分

通过上述三点的区分不难看出，传统BI关注的是企业过去与现在的业务、数据，从中归纳提取出数据间的共性、差异，多数被应用在企业内部的经营分析上，体现的是数据价值应用的过程，及时掌握当下组织的运营现状，做出科学的经营决策。大数据分析不仅关注企业过去与现在的业务、数据，还偏重于数据价值的发展和获取利用，在分析内部运营决策的同时，通过对海量数据的计算，分析出一定的规律，从而预测未来的行情趋势、风险预警，之后不断根据大量数据分析认证事情的可靠程度，帮助企业个性化决策，更注重企业的过去、现在和未来的综合管控。

1 BI商业智能

BI商业智能应用场景更多围绕企业内部运营数据的分析，对现有系统数据进行提取、整理，建立信息中心的同时生成各种分析报表，基本上不会限定行业性，会根据企业业务不同划分不同的分析结构，常见的业务场景包括销售分析、利润分析、产品分析、人员分析等。

1.1 销售分析

销售分析主要是帮助企业跟踪销售情况，通过对数据对比、极值、预测的方式，一方面帮助企业鉴别、留住有价值的客户，另一方面分析各项销售指标，与KPI对比，帮助企业快速调整销售策略。客户分析方面，BI实现对企业内部客户的划分、重点客户与潜在客户的比对；销售指标分析方面，实现如毛利、交叉比、盈利能力、销售额、周转率、环比等指标分析。

1.2 利润分析

利润分析以企业每一月度/季度/年度的利润情况为基础，分析计算利润增减幅度，并将利润与同期计划相比，查明利润变动原因，对应修改相应计划，帮助企业扩大市场占有率、增长利润来源，包括：销售（产品/项目/其它）利润分析、营业外收支分析、成本变动分析、税率变动分析、价格变动分析等，从浅层次的统计分析结果为企业未来营销发展方向提供深入支撑。

1.3 产品分析

产品分析部分主要是对产品的进销存情况进行管理与统计分析，分析指标或主题包括：库存率、产量、畅销产品/滞销产品统计、产品淘汰率、产品引进率、产品置换率、折扣率、动销率、周转率等。根据这些统计内容意在减少企业产品滞销、库存量大周转资金低、进销存不合理、销售滞后等现象，继而辅助企业对产品结构进行调整，产品与战略合理配置。

1.4 人员分析

人员分析部分主要帮助企业合理利用、调配人力资源，对员工业绩进行考核、监督，避免人力成本浪费，提升企业对人员管理的有效性。人员分析主题包括：员工人员构成、员工人均成本、人均销售额、毛利贡献、人均产量、引进商品销量情况等。

2 大数据分析

大数据不仅包括企业内部应用系统的数据分析，还包括与行业、产业的深度融合，虽然大数据分析技术并没有完全普及，但在一些行业内已经开始并较有成效的被使用，大数据分析的应用场景具有行业性，不同行业所呈现的内容与分析维度各不相同，具体场景包括：互联网行业、政府行业、金融行业、传统企业中的地产、医疗、能源行业等。

2.1 互联网行业

互联网行业大数据的应用代表为电商、社交、网络检索领域，此类场景都有一个共性，就是具备先天的数据优势，可以更好的支撑大数据分析平台的建设，电商行业可以根据销售数据、客户行为（活跃度、商品偏好、购买率等）数据、交易数据、商品收藏数据、售后数据等刻画用户画像，根据客户的喜好为其推荐对应的产品，帮助制定营销策略，优化当前问题；社交数据可以帮助潜在客户更加了解关系的资讯或服务，为商家带来引流；搜索引擎与上述同理，根据用户的搜索习惯，对于用户进行关键词和信息推荐，对于利益方面可以成为获取收益的渠道，以精准广告投放的方式进行产品营销。

2.2 政府行业

政府行业在大数据分析部分也具有先天数据优势，可以获取多种渠道的数据，包括质检部门、公安部门、气象部门、医疗部门等，质检部门包括对商品生产、加工、物流、贸易、消费全过程的信息进行采集、验证、检查，保证食品物品安全；公安部门通过对各个机器设备的人脸识别、图像采集等技术，利用这些数据，进行嫌犯追踪或风险管控；通过大数据，采集分析气象历史数据、星云图变化历史数据，通过构建大气运动规律评估模型、气象变化关联性分析等路径，精准地预测气象变化，寻找最佳的解决方案，规划应急、救灾工作。

2.3 金融行业

金融行业也是大数据分析的重点应用行业，金融行业的大数据分析多应用于银行、证券、保险等细分领域，在大数据分析方面银行会结合多种渠道数据进行分析，客户在社交媒体上的行为数据、在网站上消费的交易数据、客户办理业务的预留数据，结合客户年龄、资产规模、消费偏好等对客户群进行精准定位，分析其在金融业的需求，反向对洗钱、诈骗等行为进行预测分析；对于保险行业则根据用户信息细分进行精准化营销、欺诈行为分析及预测、精细化运营等；证券行业则利用大数据分析进行估价预测、客户关系维护与管理、流失客户预测、投资景气分析等。

2.4 传统企业

传统行业对于大数据分析的构建要比前三点提到的行业漫长一些，很难一步做到内外部数据联合分析，通常都是由内向外的一个过程，常见的行业包括：能源、电信、地产、零售、制造等。电信行业借助大数据应用分析传感器数据异常情况，预测设备故障，提高用户满意度；能源行业利用大数据分析挖掘客户行为特征、消费规律，提高能源需求准确性；地产行业通过内外部数据的挖掘分析，使管理者掌握和了解房地产行业潜在的市场需求，掌握商情和动态，针对细分市场实施动态定价和差别定价等；制造行业通过大数据分析实现设备预测维护、优化生产流程、能源消耗管控、发现潜在问题并及时预警等。

个人见解分析

当下很多BI厂商宣称其BI系统就是大数据分析类产品，可以实现大数据平台的功能，满足企业决策分析需求。实际上，企业对BI系统的使用量的确大于对大数据分析平台的使用量，笔者也不止一次思考大数据是否真的可以取代传统BI产品，最终我的答案是：大数据分析平台与传统BI会以相互配合、协作的关系共存。

虽然大数据分析平台在技术上可以替代BI系统，但两者都是构建企业数据资产的一部分，一定程度上可以做到相辅相成，传统BI系统实现企业内部系统运营数据的有效利用，满足对业务数据的归纳与分析，发现企业经营问题；大数据分析平台实现企业内部外数据的结合，行/产业间上下游的联动，为企业战略、规划、政策、目标等大方针制定、监督和执行提供支撑。很多时候应该理性看待两者的关系，合理利用两种工具，为自身创造更多的价值。

1 走出观念误区

若想合理利用两种工具，首先需要走出对大数据分析与BI在理念上、功能上的观念误区，明确两者当前的技术发展趋势。起初BI更强调以美、炫酷、自主配置、构建企业DIY商业智能平台为主，数据管理分析部分做的较弱，当时构建BI的企业多数是希望借此突出其政绩工程，而没有真正实现数据决策。如今BI系统在技术上已进行了升级，更加重视数据治理（主数据、元数据）、数据整合等技术的支撑，经过改变，一些BI系统已经具备简单的数据关联、大数据引擎、数据挖掘等功能，真正实现企业经营成果分析。

大数据分析受到BI的宣传影响，让很多人误认为大数据分析也只是注重可视化部分，事实上，可视化只是其技术中很小的一部分，大数据同样支持钻取、即席分析等操作，展示层面也具备仪表盘、数字大屏等效果。对于大数据分析真正的价值是对海量数据的采集、存储、计算、配置、展现等一系列过程，通过数据统计、数据挖掘、在线分析处理、机器学习等手段，在日积月累的数据中发现规律，预测未来行业趋势、预警风险，以数据驱动业务、针对性调整优化业务，以获得商业利益。

2 业务管理驱动

从业务角度来看，每个企业管理都会围绕三点进行，分别为经营管理（市场营销管理、产品体系管理、价格管理、财务管理）、团队管理（团队建设、部门管理、制度管理、成本管理）、可持续发展管理（战略管理、手段管理、创新管理、风险管理）。初期，企业核心需求为对人、财、物、产、供、销的管理，这时除了必要的信息化系统之外，还需要有效利用系统中产生的数据进行决策分析，而BI就是有效实现企业内部数据运用与分析的最佳手段。

企业若想持续发展壮大，必须具备可持续发展、防范风险、预测未来的能力，这就意味着企业间真正拼的不在是内部运营现状的调整与分析，而是如何有效利用起内外部数据资源，达到企业内部与行业产业的上下联动，做到信息内外皆知，在千篇一律的经营模式下掌握客户所求，出奇制胜；在风雨难测的市场环境下快速调整业务，推陈出新；在看似平稳的发展趋势下有效规避风险，掌控未来。这些需求大数据平台都可以帮助企业有效的实现，平台之下融合BI系统，共同打造内外部一体化决策。

3 技术发展助推

企业对于BI系统与大数据平台的选择不应该是根据当下潮流决定的，而是根据企业信息化建设基础和业务发展状况决定的，两者缺一不可，并相互制约。从信息化建设角度讲，两者建设顺序与业务发展情况相同，BI系统会优先于大数据平台。伴随着系统的快速构建，数据问题也随之出现，系统已不能再为企业带来绝对的竞争优势，数据治理分析理念兴起，在企业还不具备大规模数据的阶段，通常会在系统整合与数据治理之后会选择构建BI系统，实现初步决策分析。

信息化建设对于企业来讲是一个漫长的过程，需要不断去完善、深化，并呈现出上升趋势，数据时代带来数据量大幅度增长，数据中具备许多高价值的情报待发掘，过程中促使利用大数据的技术、架构、工具产生，如物联网、人工智能、Hadoop、Spark等，还包括近期较火的上云计划，将大数据分析平台基于云上部署，减少企业运营和技术的维护成本的同时，做到性能更加优化，以上的种种都加速了企业迈向大数据分析的步伐，达到对前期BI数据决策分析的一种更深化、稳定、有效的传承。

综上所述，大数据相对于传统BI产品，不只是所谓的升级关系，而是在相互协作中，从理念、技术、架构、工具上进行了一定的颠覆，无论企业当前如何发展，未来终将会走到数据驱动时代。然而对于当下没有构建大数据分析平台的企业来说，也不必着急，顺应大势固然重要，但在建设过程中打好基础更重要，要明确做好大数据平台的前提是应用集成、数据治理，做到基础优先，过程稳扎稳打，根据业务现状、信息化实情、顺势而为即可。