B05 - 009、大数据时代的变革

会飞还得了

于 2019-06-17 19:49:26 发布

阅读量675

点赞数 1

分类专栏： B02、BigData 文章标签：大数据时代的变革思维变革商业变革管理变革

本文链接：https://blog.csdn.net/weixin_42464054/article/details/92691618

版权

B02、BigData 专栏收录该内容

271 篇文章 1 订阅

订阅专栏

初学耗时：0.5h

注：CSDN手机端暂不支持章节内链跳转，但外链可用，更好体验还请上电脑端。

一、大数据时代的变革
1.1 思维变革。
1.2 商业变革。
1.3 管理变革。

记忆词：

思维变革：数据样本、效率、相关性

商业变革：数据化、价值、角色定位

管理变革：风险、掌控

B05 - 999、大数据组件学习② - Hadoop

ギ舒适区ゾ || ♂ 累觉无爱 ♀

一、大数据时代的变革

1.1 ~ 思维变革。

1.1.1 . 需要全部数据样本而不是抽样。

当数据处理技术己经发生了翻天覆地的变化时，在大数据时代进行抽样分析就像在汽车时代骑马一样。
一切都改变了，我们需要的是所有的数据，“样本=总体”。
我们要分析与某事物相关的所有数据，而不是依靠分析少量的数据样本。
小数据时代的随机采样，源自记录、存储、和分析数据的工具不够好，用最少的数据获得最多的信息。
然而随机采样毕竟有随机性，而且会丧失一些微观细节的信息，甚至还会失去对某些特定子类别进行进一步研究的能力。
而现在，因为有了大数据存储，处理的能力，我们开始关注整体数据中价值。
“大”是相对意义的大，也就是相对所有数据来说的。
拥有全部或者几乎全部的数据，我们就能够从不同的角度，更细致地观察研究数据的方方面面。

1.1.2 . 关注效率而不是精确度。

数据量的大幅增加会造成结果的不准确，与此同时，一些错误的数据也会混进数据库。
对“小数据”而言，最基本、最重要的要求就是减少错误，保证质量。
因为收集的信息量比较少，所以我们必须确保记录下来的数据尽量精确。
因为收集信息的有限意味着细微的错误会被放大，甚至有可能影响整个结果的准确性。
“大数据”时代，我们需要与各种各样的混乱做斗争。
混乱，简单地说就是随着数据的增加，错误率也会相应增加。
混乱还可以指格式的不一致性，因为要达到格式一致，就需要在进行数据处理之前仔细地清洗数据，而这在大数据背景下很难做到。
“大数据”通常用概率说话，而不是板着“确凿无疑”的面孔。
整个社会要习惯这种思维需要很长的时间。
其中也会出现一些问题。
但现在，有必要指出的是，当我们试图扩大数据规模的时候，要学会拥抱混乱。
大数据时代要求我们重新审视精确性的优劣。
大数据不仅让我们不再期待精确性，也让我们无法实现精确性。
接受数据的不精确和不完美，我们反而能够更好地进行预测，也能够更好地理解这个世界。
值得一提的是，错误并不是大数据固有的特性，而是一个亟需我们去处理的现实问题，并且有可能长期存在。

1.1.3 . 关注相关性而不是因果关系。

相关关系的核心是量化两个数据值之间的数理关系。
相关关系强是指当一个数据值增加时，其他数据值很有可能会随之增加。
比如谷歌流感趋势：在一个特定的地理位置，越多的人通过谷歌搜索特定的词条，该地区就有更多的人患了流感。
相反，相关关系弱就意味着当一个数据值增加时，其他数据值几乎不会发生变化。
例如，我们可以寻找关于个人的鞋码和幸福的相关关系，但会发现它们几乎扯不上什么关系。
在小数据世界中，相关关系也是有用的，但在大数据的背景下，相关关系大放异彩。
通过应用相关关系，我们可以比以前更容易、更快捷、更清楚地分析事物。
关联物，预测的关键。
通过给我们找到一个现象的良好的关联物，相关关系可以帮助我们捕捉现在和预测未来。
如果 A 和 B 经常一起发生，我们只需要注意到 B 发生了，就可以预测 A 也发生了。
这有助于我们预测 A 可能会发生什么，即使我们不能直接测量或观察到 A。
更重要的是，它还可以帮助我们预测未来可能发生什么。
当然，相关关系是无法预知未来的，他们只能预测可能发生的事情。
建立在相关关系分析法基础上的预测是大数据的核心。
它告诉你的是会发生什么，而不是为什么发生。
事实上，就是因为不受限于传统的思维模式和特定领域里隐含的固有偏见，大数据才能为我们提供如此多新的视野。

1.2 ~ 商业变革。

1.2.1 . 数据化：一切皆可“量化”。

大数据发展的核心动力来源于人类测量、记录和分析世界的渴望。
数据，会从最不可能的地方提取出来，很多从不被认为是数据、甚至不被认为和数据沾边的事物转化成了可以用数值来量化的数据模式。
比如日本的越水重臣研究的坐姿和汽车防盗系统，很少有人会认为一个人的坐姿能表现什么信息，但是它真的可以。
当一个人坐着的时候，他的身形、姿势和重量分布都可以量化和数据化。
这样根据人体对座位的压力差异识别乘坐者的身份。
新工具和开放的思维促进了测量事物和记录数据的繁荣。
计算机的出现带来了数字测量和存储设备，这样就大大提高了数据化的效率。
计算机也使得通过数学分析挖掘出数据更大的价值变成了可能。
有了大数据的帮助，我们不会再将世界看做是一连串我们认为或是自然或是社会现象的事件，我们会意识到本质上世界是由信息构成的。
将世界看作信息，看作可以理解的数据的海洋，为我们提供了一个从未有过的审视现实的视角。
它是一种可以渗透到所有生活领域的世界观。

1.2.2 . 价值：“取之不尽，用之不竭”的数据创新。

在数字化时代，数据支持交易的作用被掩盖，数据只是被交易的对象。
而在大数据时代，事情再次发生变化。
数据的价值从它最基本的用途转变为未来的潜在用途。
这一转变意义重大，它影响了企业评估其拥有的数据及访问者的方式，促使甚至是迫使公司改变他们的商业模式，同时也改变了组织看待和使用数据的方式。
数据的价值并不仅限于特定的用途，它可以为了同一目的而被多次使用，也可以用于其他目的。
要了解大数据时代究竟有多少信息对我们有价值，后面这一点尤其重要。
过去，一旦数据的基本用途实现了，我们便认为数据已经达到了它的目的，准备将其删除让它就此消失。
毕竟，数据的首要价值已经得以提取。
而在大数据时代，数据是就像一个神奇的钻石矿，在其首要价值被发掘之后仍能不断给予。
数据的价值是其所有可能用途的总和。
数据价值的关键是看似无限的再利用，即它的选择价值。
收集信息固然至关重要，但还远远不够，因为大部分的数据价值在于它的使用，而不是占有本身。

1.2.3 . 角色定位：数据、技术与思维的三足鼎立。

如今，我们正处在大数据时代的早期，思维和技术是最有价值的，但是最终大部分的价值还是必须从数据本身来挖掘。来自于电子商务网站和互联网的公开数据很多，每个人都可以利用。
技术上，谁也并没有无可替代的技术人才。
虽然数据和技术是不可或缺的，但是真正使得某家公司取得成功的是拥有大数据的思维观念。
所谓大数据思维，是指一种意识，认为公开的数据一旦处理得当就能为千百万人急需解决的问题提供答案。