对于敏捷BI的理解和误区

　　摘录：“很多人还没搞清楚什么是PC互联网，移动互联网来了，我们还没搞清楚移动互联的时候，大数据时代又来了。”--马云卸任演讲

　　这是一个几乎所有企业都在谈数据的时代。虽然以大数据(Big Data)的定义（指“无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合。)来看，并不是所有的企业或组织都拥有“大数据”，但无疑，数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。马云的话，重点在于“应对变化”而非“大数据”。在这个变化越来越快的时代，组织是否已经具备处理和分析数据的能力，是每个组织成员都需要思考的问题。

　　Mckinsey列出了各个行业利用大数据价值的难易度以及发展潜力。《Big data: The next frontier for innovation, competition, and productivity》

　　数据无论大小，只要足够优质，其中便蕴含着各行各业挖掘更大商业价值和创新的可能。数据本身不产生价值，如何分析和利用数据，并对业务产生帮助才是关键，而能有效挖掘出这些可能和价值的答案，便蕴藏在商业智能（Business Intelligence，简称BI）之中。

　　BI是什么？

　　著名国际咨询分析公司Gartner，将BI定义为一个概括性术语（Umbrella term），泛指业务分析中用到的工具、基础设施设备、程序与软件，通过获取和处理数据，进而分析数据，获取有价值的信息以改进并优化决策和绩效，指导各种商业行为。

　　BI的本质是技术和工具和商业逻辑的结合，通过处理原始数据，以商务逻辑分析数据，为商业运营提供基于历史、当下和未来的分析视角，形成对商业行为有价值的洞察（insight）。（与之对应，近年来国外很多名校的新兴专业学科BA（Business analytics），则是一门需要同时学习商科知识和计算机技术的学科。）

　　BI对商业决策的支持涵盖了从运营到战略的每个层面。基础运营决策包括产品定位或定价， 战略业务决策包括最广泛层面的优先事项，目标和方向。BI的有效性在于多数据源的充分整合。例如可口可乐等快消品公司会将公司财务、运营数据（内部数据）与波士顿等公司提供的市场数据（外部数据）结合分析，这种结合就可以更好地呈现公司的经营全貌。

　　从这个意义上来讲，基于单表或单一数据源的分析都不能称作真正的BI。更常见的情形是组织内没有BI产品线，仅靠手工操作（Excel）汇总多个数据源，复制粘贴到一个Excel表中再进行分析，虽然满足了多来源，但汇总和分析过程都靠人肉，也不是真正的BI。

　　BI的目标与部署中的常见问题

　　数据研究专家Kernochan在他为期两年的组织BI流程研究中提出了以下模型及其特征目标：

　　数据输入 - 准确性；数据整合 - 一致性；数据聚合 - 范围明确；信息定位 - 匹配度；信息传递 - 及时性；信息分析 - 可分析性

　　这不仅可以作为BI部署的目标，也可以用于检验以上目标的达成，反推企业的数据治理是否足够规范。

　　同时，Kernochan的研究也总结了当前BI部署流程中的常见问题：

　　20％的数据有错误（准确性）；50％的数据不一致（一致性）

　　通常需要7天才能将数据提供给最终用户（及时性）

　　无法对70％的公司数据（范围）进行跨数据库查询

　　65％的时间，高管没有收到他们需要的数据（合适）

　　60％的时间，用户无法立即对他们收到的数据进行在线分析（可分析性）

　　Web上出现的75％的新关键信息源不会在一年内传递给用户（敏捷性）

　　产生以上问题的最大原因，在于业务用户通常不了解数据准备的复杂性和错误所涉及的风险，且缺乏统一部门强有力的数据治理（Data governance），进而使得数据的质量变得不可控。数据基层一旦出现问题，高级的分析和敏捷性需求也无从说起。

　　什么是敏捷BI？

　　在很长一段时间里，Excel和其他电子表格都是各类组织处理分析数据的主要工具，拥有数量最大的用户群。虽然电子表格易于上手，但把它当做BI工具使用，在以下场景会受到限制：

　　需要对包含多个工作表或数据库的混合数据源开展分析时

　　多人同时对一张电子表格进行维护和协作时

　　数据量达到上限或包含非结构化数据让可视化变得困难

　　使用复杂的公式降低了查询性能时

　　需要交互式分析和数据探索时

　　需要定时刷新时

　　随着企业数据量的增大和外界环境的不断变化，企业对于数据的管控和分析有了更高的要求，希望能够摆脱过去较高的技术门槛，较长的部署时间，缓慢的数据整理和分析速度，力求“又快又好”，敏捷BI应运而生。

　　敏捷BI的出现，是以一系列自助式数据分析软件的出现为标志的（所以敏捷BI也被称之为自助式BI）。随着Tableau，Power BI，Qlik sence，Microstrategy，帆软等国内外软件的不断迭代更新，数据分析的主角不再仅指具备IT技术背景的研发人员和数据科学家，每一个没有技术基础的业务人员也可以更高效便捷的方式获取、整理和分析数据。

　　敏捷一词（Agile）源于17位轻量级方法学家在2001年2月提出的敏捷宣言（Agile Manifesto）。Agile的提出，一开始就是带着IT项目开发基因的，而在“敏捷BI”这一概念里，主要取的是“快捷高效，简单明晰”的意思。

　　结合到数据应用场景，我们可以从Excel的Vlookup函数来看看何为“敏捷”。相信这是很多报表从业人员，接触的第一个稍显复杂（相比于sum、count等函数）但又觉得爱不释手的函数，使用频率极高。

　　为什么用它来解释“敏捷”，因为在电子表格时代，它可以帮助使用者快速高效地进行表格信息的交付、部署、变更、查询。它的交付结果可靠，运算性能稳定；部署方便：内置四个系数均具备明确含义和标准用法；且四个系数均可灵活修改，变更方便；在数据质量可靠的情况下，可以查询表格内（间）几乎所有的信息。在电子表格这个领域，Vlookup无疑可以称得上是“敏捷”的函数之一。

　　类似的教程图相信大家并不陌生

　　同样的道理，在敏捷BI时代，这样的特征仍不过时：能快速高效地帮助使用者进行数据的结果交付、技术部署、需求变更、精准查询，这便是敏捷BI。

　　对于敏捷bi的常见误区

　　每个概念的兴起必然带来多种的解读，同时也产生有不少误解，敏捷BI亦不例外。对于它的常见误区，有如下四点。

　　1.敏捷BI是一种能力，而不单指工具。

　　BI作为一个有着计算机基因的概念，在宣传的时候自然没有人会想看那些枯燥的代码，酷炫简单的效果往往更受青睐，这使得人们在理解BI时，很自然地就联想起各种形式多样色彩丰富的动态图表。但其实，图表只是BI的前端展示界面，是部署BI这项技术性极强且极具体系工作的冰山一角；同时敏捷BI软件也不仅仅只是一个高级的图表制作工具，其也必然兼备着获取和清洗数据的交互功能。

　　从某种意义上，各类敏捷BI工具是对Excel等传统表格工具和代码环境优势的中和，而这个粘合剂，是可视化交互元素，在保留后台代码搭建环境的基础上，敏捷BI工具将很多繁琐操作进行整合形成新的功能，使得数据在软件内的交互感有了质的提升。

　　其主要组成部分至少包含工具、技术、业务、项目管理这四个领域。

　　一个典型的BI体系部署流程（技术维度）

　　可以想见，一家企业想要实现BI敏捷性的成功，至少需要三点

　　1、自身强有力的数据管理意识和规范

　　2、技术团队（内部/外包）强有力的数据技术支持

　　3、高效敏捷的新型BI工具（技术与业务人员间的桥梁）

　　当前主流的敏捷bi报表软件，其宣称“敏捷”的最大优势，是其内置的各类图表、灵活高效的函数、简单便捷的元素拖拽方式。区别于传统BI开发纯代码的环境，敏捷bi的前端报表开发，已经变得极具可视化，其使用的难度和逻辑与Excel相仿，哪怕对于没有技术基础的业务人员，也不影响其使用或做简单的修改和开发。

　　敏捷BI软件作为一个前端工具，是无法解决上述所有的问题的。数据分析中经常听到的那句“Garbage in,garbage out”，在BI部署中，也会经常困扰到ETL环节的开发人员，而“如何保证数据质量”这一课题所投入的资源，其实要比前端报表开发花费的时间更多。

　　BI，数据治理，BI系统，BI工具，数聚股份

　　BI部署的冰山效应

　　2.敏捷BI并不是电子表格和传统BI的替代品

　　虽然电子表格和敏捷BI工具都使用表格，但它们实际上是在不同的场合中发挥不同的作用。 电子表格首先是一种存储和显示计算的方法。BI表格中的数据使用各种算法进行压缩，不像Excel那样直接使用行和列的编号来定位。虽然电子表格可以创建复杂的数学公式，比如Excel的分析工具库，但它们的核心是数学公式而不是模型。

　　就好像XMind Pro和XMind:ZEN。Pro 的定位无疑是一款全栈思维导图软件，其完美地符合所有思维导图用户的大部分需求，而ZEN则舍弃掉了一部分专业性功能，主打简约美观、轻量化后的性能、100%兼容移动端。可以说，ZEN便是一款敏捷型思维导图工具。这是为了迎合更多用户需求做出的两条产品线，而诸多的敏捷型bi工具区别于传统BI、电子表格的思路也与此类似。

　　敏捷BI不会使传统的数据库管理或数据科学家失效。 这些由专业人士提供的洞察是复杂的，它们对大多数组织仍然具有很高的价值。（Microstrategy的建模工具与微软SSAS 表格模式使用相同的xVelocity引擎，使其在这方面具备超过同类BI软件的分析能力）

　　而敏捷BI虽然功能强大，看起来在很多场景下可以代替电子表格，却也很难真正取而代之，电子表格软件仍有其强大的生命力，并不过时。小规模数据的分析处理，excel仍是十分轻便高效的。此外，价格因素、安装成本、易用度及培训成本都是需要考虑的因素。

　　敏捷BI、传统BI、电子表格三者并不是简单的对立关系或是高级与低级的区别。组织需要思考的，是多元选择下的组合应用，扬长避短，而不是理解为做简单的取和舍或是迭代升级。

　　3.敏捷bi工具无法直接告诉决策者答案

　　在这个“颜值至上”的年代，BI软件的界面也做得越发具有设计感，无论是色彩还是UI的质感，都给人一种“高大上”的感觉。仿佛只要看到了变化的数字和仪表盘，就已经获得了海量的信息。但敏捷bi其实是很难直接给出答案的，而是促进决策者通过合理的信息展现形式，进行更为系统深入的思考。而且敏捷bi在深入数学建模方面，为了兼顾性能，在功能上无法做到像R或Python语言那样具备高灵活度。如果要深入地做数据分析，不能完全依赖敏捷BI。

　　尽管近年来各大BI厂商都在强调“增强分析”的发展趋势，很多软件已经在支持python和R的功能打包，并引入机器学习概念和更强大的交互功能（语音识别等）。

　　但笔者仍然认为，他很难直接为决策者提供答案。BI依旧是一个优质信息的整合处理工具，它在短期内是无法取代人类的思考的。统计图表虽然强大，但它也是现代社会最会说谎的事物之一，很多信息还需要甄别和深入的思考。

　　增强分析使得人人都有可能成为“数据科学专家”，极大地提高工作效率。

　　智能数据发现与其它复杂技术的提高会对ROI(投资回报率)和TCO(总所有成本)产生积极影响。

　　有利于作出更好的决策、更准确的商业预测以及产品、服务、定价、财务、生产等业务层面的量化分析。

　　增强数据准备及相关工具能够在很大程度上优化用户采用率、数据流通率、数据素养（阅读、理解、创建和传递数据信息的能力）以及BI整合。

　　4.敏捷bi的部署需要强有力的项目管理和数据治理

　　正如之前提到的，敏捷二字带有鲜明的IT开发项目色彩。其部署往往以一个项目为单位开展，需要在短期内投入企业较多资源。当前敏捷bi部署的主流方向是采取外包的形式，专业性强的数据服务公司往往能更契合业务型公司的需求，项目周期和成本的可控，也为甲方公司能节约更多资源。但这绝不意味着，敏捷bi部署就是请技术人员将功能需求实现这么简单，它需要业务与技术、甲方与乙方的多重协调。这常常为需求方所忽略，进而产生较大的隐性沟通成本。

　　当前的敏捷bi更多强调的是在前端体验上的“自主敏捷”和“流畅敏捷”，其实都严重依赖事先的数据准备工作，一旦分析需求超出事先的准备，都很难再敏捷起来了。而数据准备一般都比较复杂，经常要做脱敏处理或多表关联，只能由技术人员来完成，是最费时费力的环节。根据经验总结，主要有两类运算，过程计算和关联查询。

　　同时，数据质量的高低是决定BI部署成功与否的基础所在，数据清洗在数据分析过程中仍然会占据大比例的资源。这是每个企业都无法回避的现实，而增强数据准备也是近年来各大敏捷BI厂商在技术功能上开拓的新方向。

　　Python和R通常是具有IT背景和编程知识的技术人员掌握的技能，这类编程语言可以独立完成数据分析的整个流程。相比之下，自助式BI界面化的操作更容易掌握，但是相比自助BI工具，缺少通过交互式筛选进行可视化探索的能力。值得注意的是，目前微软和Tableau的敏捷BI产品都支持编程语言进行二次开发，Power BI支持R、Tableau支持Python和R,两款软件都在尝试将编程语言模块（聚类、决策树等）封装到软件里直接调用，加强分析和可视化的能力，未来的趋势将很可能是工具和语言的融合。

　　对于业务分析师，在已经掌握了敏捷BI产品的基础上，学会一门语言可以拓展数据分析能力，但需要衡量为此付出的时间成本；如果是二选一，首先掌握一个BI软件是性价比较高的选择。

　　适用于所有用例的强大集成产品：MicroStrategy拥有该魔力象限中所有供应商的最高产品分数，包括整体和所有评估用例。对于BI管理，架构和安全，它均获得了“优秀”级别分数; 数据源连接; 可扩展性和模型复杂性; 元数据管理; 移动; 和易用性，视觉吸引力和平台工作流程集成，特别是对于移动商务智能，MicroStrategy是早期的创新者，拥有一些最全面（包括交易），评价高且广泛采用的功能。MicroStrategy的参考客户中有更高比例的人报告为其移动功能选择平台，而不是此魔力象限上的任何其他供应商。

　　敏捷且稳定可控的企业部署：MicroStrategy 具有无缝工作流程，可将业务用户生成的数据模型和内容推广到企业源，同时利用企业功能实现大规模可信自助服务。几乎54％的MicroStrategy客户参考报告使用该平台进行受管理的数据发现，将其置于该用例的最高四分位数。高级数据操作，企业级安全性，本机Hadoop访问和内存中列式数据存储（PRIME）为业务用户提供高度互动和全面的数据探索体验，适用于非常大且复杂的数据集和模型。

　　大型集中式部署的高标准化率：MicroStrategy的客户参考报告中排名前四分之一的平均部署规模的魔力象限，使用该平台作为其中的三分之二的企业标准-比这里评价大多数其他厂商较高。由于其企业功能和传统的BI传统，大多数MicroStrategy客户在集中管理的部署中使用该平台，无论是敏捷（65％）还是传统的以IT为中心（59％）。这比魔力象限中的大多数其他供应商更多，使用该平台进行分散部署的比例低于平均水平。

　　客户体验和运营：两年多来对以客户为中心的计划的投资 - 一个新的客户成功组织，主动支持包和一个新的社区门户网站等，终于开始为MicroStrategy付出代价。参考客户评分现在将MicroStrategy置于这些供应商的前四分之一中以获得客户体验，并将运营高于平均水平（同比大幅提升）。除了仍然低于平均水平的迁移经验之外，支持率高于平均水平的分数以及被放置在供应商产品质量的前四分之一中代表了MicroStrategy客户的重要改进。MicroStrategy用户支持功能的关键要素不断发展。更新的内容通过新用户社区提供，

　　重点仍然是扩展企业功能，嵌入式分析，数据大小和复杂性，而不是颠覆性创新和人工智能驱动的用户体验。后两者可能是未来三到五年内分析和BI的定义特征，MicroStrategy是这里的追随者。

　　在数据分析领域，在敏捷BI工具极大地降低了数据分析门槛和资源消耗的今天，不管你是一个组织的普通业务或技术员工、咨询顾问、专家还是的中高层领导。如果你的团队拥有合适的工具和一个管理大量数据的简便方法，如果你能像数据专家一样，时刻保持对术语、专业技术和解决方案的敏感度并与时俱进，这将为你和你所在的组织带来巨大的价值，这将让你所在的组织，真正地实现“数据驱动”。