浅谈大数据思维——一名管科类学生基于《大数据时代》的思考

最新推荐文章于 2021-08-23 00:00:00 发布

置顶 William·Pan

最新推荐文章于 2021-08-23 00:00:00 发布

阅读量3k

点赞数 6

分类专栏：杂谈录文章标签：大数据思维方式

本文链接：https://blog.csdn.net/weixin_42435831/article/details/88880895

版权

杂谈录专栏收录该内容

4 篇文章 0 订阅

订阅专栏

前言

一开始想写这篇文章纯属心血来潮，可没曾想随着写作的深入，发现“大数据思维”这个词实在太大太大。前前后后对文章的脉络梳理不下三五次了吧，却依然没个把握，想来还是自己的能力有限。既然没有高谈阔论的本事，便也只好浅言数语，诸君看罢了了。

十年

十年后再看今朝，定如此刻回首十年前的自己，叹时光匆匆，惜年少无知无忧。

几多者能够洞悉时代？绝大部分人都是在潮流的裹挟之下，不知不觉之中，从一个十年走向下一个十年。近来我总是在拷问自己，倘若十年前就听说“大数据”这个词，倘若十年前就开始学习编程，甚至倘若十年前就开始学习证券投资的艺术，现在的自己又会是如何？

可尽管拥有再多的遗憾，也无从责备当初的那个自己。十年前，我，以及所有和我同样年龄的孩子，才刚经历了从个位数迈进两位数的喜悦，带着一丝懵懂和几分自以为是的成熟，幻想着成为拯救世界的下一位超人。而也正是十年前，国内的第一家云服务企业——阿里云诞生，大数据的应用在中国大陆才刚起步。即便当初你就看到了这项技术在十年后的无尽潜力和广阔的应用场景，你也无法向一个十岁的孩子解释TB级别的数据究竟有多大，更不用说让他从此深爱上这样一个在当时家不喻户不晓的词汇。或许（七十多亿的变量总有令人意想不到的可能），有一位十岁的天才少年在有幸拜读了《第三次浪潮》乃至谷歌的大数据“三驾马车”后，变得一发不可收拾；但不幸的是，绝大多数人都不是那个chosen one。

天知道这十年时间都被花在了哪儿！

在又度过了一个无知无忧的十年之后，当初的那个少年，彻夜通读王坚博士的《在线》，躲在教室的最后一排翻看舍恩伯格教授的《大数据时代》——脑海里朦胧一片的世界渐渐变得清晰。

变革

改变总是在不经意间发生，当我们对一些事物习以为常时，其实已经在向过去道别。

过去的这十年，中国究竟发生了什么变化？相信每一个人都能不假思索地说出数个答案，吴晓波在《激荡十年——水大鱼大》中甚至逐年地概括总结了中国所发生的那些值得被记忆的时刻。但人们的生活、生产方式发生改变的本质原因何在，能说清的人实在太少。

细品之下，教线性代数的陈德旺教授的那句话不无道理：“研究矩阵久了，看什么都像矩阵。”自然，和教授比相去甚远，但出于同样的原因，自己无比认可王坚博士的“在线”观点。尽管有人会提出是基础材料的突破、是4G通信的诞生等同样令人信服的论点，但无疑，始终走在时代前沿的那批人，对社会变革本因的感知更加贴切。

细想，多少我们曾经笃信只能在线下做的事如今在线上便能轻松完成，多少我们曾经无法想象的事物如今在线上变得习以为常。腾讯曾试图取消QQ“在线”这一状态标识却引起轩然大波，而如今 “手机不关机，QQ不下线”几乎成了常态。我们的资产“在线”了，我们的健康数据“在线”了，甚至我们的喜怒哀乐都“在线”了。当我们在深夜躺在床上沉思之时，会突然发现，如今真正可怕的反倒是“离线”——只要你还在呼吸，你将会一直“在线”。

启迪

阅读最令人着迷之处就在于，你永远预料不到合上书后那一刻的灵感闪现。

可以说这就像是一个主动接受“洗脑”的过程。然而，一旦你对“‘在线’是时代变革的最显著标志”这一观点深信不疑之后，便能毫不费力地洞见大数据所蕴含着的巨大价值。

哪怕现如今的会计准则依然没有明确表示数据能够作为企业的无形资产，其地位也早已不可同日而语。在线化的社会赋予了数据“无时无刻不在产生”这一大特性。其实数据存在于人类社会已长达千年，如同石油在地层运动下慢慢地积累，数据也在人类的生产活动中被不断沉淀。而不同于石油一类的矿物资源的是，数据来源于人类社会，人们对数据的利用并不会使之枯竭，相反，只要社会运转不停，数据便会源源不断地产生。

这是件多么令人惊喜的事！现在的技术足以支撑对巨量数据的挖掘、存储和分析，利用得到的结论来更好地指导工作流程的优化、提高运营和管理的效率，而更重要的是，这项无处不在的资源取之不尽，用之不竭。你很难想象有一项资产越用越有价值，折旧却近乎为零——而大数据却拥有这样令人眼前一亮的属性。

毫无疑问，当今时代，掌握大数据资源越多、分析计算能力越强的企业或国家，其对未来的把握程度就越大。细化之于个人，掌握的大数据相关技能越多者，未来的发展也越有保证。但就如十年前一般，即便如今的我们能动性得到了很大的提升，绝大部分的人依然成为不了那个chosen one。

可这不意味着剩下的人就此与时代无缘。技术的不断发展和广泛应用，必然导致一套完整而系统的方法论被从中归纳、总结出来。我相信哪怕不能很好掌握技术，深刻理解了其中所蕴含的思想，也能很好地在即将甚至已然到来的时代找到属于自己的一席之地。

专家还是通才

人类历史上最伟大的那批人，一生绝不止一个称号。

何谓专家？专家是乎专精一术之道者。与之相比，通才则显得广识而浅知。但这并不意味着专家就一定优于通才，尤其在大数据时代下，结论可能恰恰相反。专家的技术再高深、知识再渊博，其范围也不过是一门或几门学问；通才对各学科的研究或许不深，但至少掌握了其中的核心思维，也即方法论。

人们总是孜孜不倦地探究着现象背后的本质，乐此不疲地找寻事物之间的因果关系。大数据的应用赋予了我们轻松求索答案的本领，可不幸的是其永远不会告诉我们为什么。仅得到结论似乎满足不了专家的求知欲，可对于通才而言已然足够。通才凭借其广博的知识面，能够充分利用大数据分析得来的结论去打开新的局面，做出一番事业。至于为什么，就留待专家们用尽一生去探寻吧。

而这也正是我想要谈论“大数据思维”而非“大数据技术”的原因所在。固然，技术本身的重要性不可忽视，但作为管科类的学生，我们更应该重视事物运作的内在机制而非具体的技术细节。对于一项任务，能够做到正确评价几个实现方案之间的优劣性，才是管科类学生所要关注的重点；至于方案的实现，则交给专家们解决。

大数据思维

思维，看不见而摸不着，却又实实在在地指导着一切。

正如开头所言，“大数据思维”这个词实在太大太大，而原因就在于其是由“大数据”和“思维”这两个本身就已不小的词汇组成。且不论“大数据”，倘要细说，几天几夜怕是也讲不完；至于“思维”，就更是个高度抽象的词了，看不见又摸不着，光是想想便能令人神游九霄之外。

当“大数据”碰上“思维”，会有怎样的火花？请拭目以待。

不妨先下个定义：所谓“大数据思维”，便是在大数据技术快速发展和广泛应用的过程中被逐渐归纳和总结出来的一套方法论。这样的定义一下子便赋予了其高度的时代意义——大数据思维是大数据时代的产物，换言之，当今时代若不能很好地掌握大数据思维，以大数据的视角看待和处理事物，将极有可能被时代所淘汰。技术永远不会将人分出三六九等，思维观念才是！

        那么，新时代下，大数据究竟给人们带来了什么启示：
        （1）“样本=总体”。大数据最显著的特征之一便在于其数据规模之大。传统时代（指大数据时代之前的时代），海量的数据对统计分析人员而言是一种巨大的负担；而大数据时代，随着存储技术的发展和计算能力的提升，试问又有什么理由拒绝对整体的数据进行分析而选择具有无法避免的误差的抽样分析呢？
        （2）允许更混杂。抽样得到的每一份样本数据都来之不易，自然其精确度的要求更高。大数据则不然，系统总是趋向于无序的状态，数据量的指数级增加带来的同样也是混杂程度的提升。所幸：即便再混杂，巨量的数据也储存着足够多我们所需的信息，更重要的是数据清洗的技术能够帮助我们排除干扰，使我们走在正确的道路上。大数据技术下，数据量的大小才是决定最终价值的基础。
        （3）相关关系而非因果关系。讨论因果更像是哲学范畴的事，而大数据所要做的不是追寻那久久得不到的“为什么”，而是迅速发掘现象的背后“是什么”。起码迄今为止，天气状况和股票指数之间没有什么因果关系，将二者放在一起讨论似乎也没多大意义，但一旦大数据分析对二者的历史数据回测、拟合得出了两者之间具有显著的相关关系（这纯属是一个有趣的假设），关注每日晨间的天气预报就确实能更好地辅助当日的投资决策。当你是对数据的全体进行分析时，那些关于偶然因素影响了最终结论的质疑就显得格外苍白无力。
        （4）一切皆可量化。归功于“在线”，以及数字化、数据化技术的发展与应用，现如今哪怕是诸如情绪这般抽象化的概念，也能够通过大数据分析的方式得以被量化和预测。或许依然有人对此抱有质疑，但线上生活已经完完全全融于大部分人的生活之中，人们在社交网络上表露自己的真实状态越来越频繁。换个表述方式也许更容易被理解：只要能够被以数据化的方式记录和存储下来，就没有不能被量化的可能。

乍看之下，大数据时代许多人们一贯的认知都将被颠覆。可转念一想，会否这就是世界本来的面目？我们所认为的事物之间的因果是真实存在的，还是基于不断地抽象和简化而得到的自我安慰的结论？大数据时代，人类第一次能够直接从全局、从总体的角度去看待事物。