大数据时代需要转变的思维

最新推荐文章于 2021-02-26 17:13:50 发布

DecemberCafe

最新推荐文章于 2021-02-26 17:13:50 发布

阅读量3.2k

点赞数 3

分类专栏：心得随笔文章标签：大数据小数据相关关系因果关系混杂

本文链接：https://blog.csdn.net/lzhlzz/article/details/44992807

版权

心得随笔专栏收录该内容

6 篇文章 0 订阅

订阅专栏

大数据时代要转变的思维：

要分析所有数据，而不是少量的数据样本
要追求数据的纷繁复杂，而不是精确性
要关注事物的相关关系，而不是因果关系

1. 分析所有数据，而非少量数据

至今为止，人们搜集数据的能力有限，因此采用的是“随机采样分析”。

例如，要想知道中国顾客都联想笔记本的满意度，不可能对所有买了联想笔记本的人做问卷调查。通常的做法是随机找1000个人，用这1000个人的满意度来代表所有人的。

为了使结果尽可能准确，我们会设计尽可能精确的问卷，并使样本足够随机。

这就是“小数据时代”的做法，在不可能搜集全部数据的情况下，随机采样分析在各领域取得了巨大的成功。

但是，随机采样有三个问题：

依赖随机性，而随机性很难做到。例如，使用固定电话随机打给1000户人家，这样也是缺乏随机性的，因为没有考虑到年轻人都使用手机的情况。
远看不错，一旦聚焦到某一点，就模糊了。例如，我们用1000个人来代表全国，这1000个人是随机从全国选取的。但是，如果用此结果来判断西藏的满意度，却是缺乏精确的。也就是说，分析结果不能适用于局部。
采样的结果只能回答你事先设计好的问题，不能回答你突然意识到的问题。

在”大数据时代“，样本=总体

如今，我们已经有能力搜集到全面而完整的数据。大数据是建立在掌握所有数据、至少是尽可能多的数据的基础上的。

2. 追求混杂性，而非精确性

在“小数据”时代，最重要的就是减少测量的错误，因为收集的信息较少，所以必须保证记录尽可能精确，否则细微的错误会被放大。为了精确，科学家必须优化测量的工具。现代科学就是这么发展过来的，物理学家开尔文（温度的国际单位）说：“测量就是认知”。很多优秀的科学工作者必须要能准确收集和管理数据。

在“大数据”时代，使用所有数据变为可能，且通常是上万亿个数据，要保证每一个数据的精确性是不可想象的，混杂性不可避免。但是，当数据量足够大时，混乱不一定会带来不好的结果。并且，由于放松了容错的标准，所能搜集的数据多了起来，还可以利用这些数据来做更多的事。举一个例子：

要测一个葡萄园的温度，如果只有一个温度计，那必须保证这个测量仪精确且能一直工作。但是如果每100棵葡萄树就有一个测量仪，则虽然有些测量数据是错误的，但是所有数据合起来却能得到一个更准确的结果。

因此，“大数据"通常用概率说话，而不是板着”确凿无疑“的面孔。”大数据“时代要求我们重新审视精确性的优劣。由于数据量太大，我们不再期待精确经，也无法实现精确性。

在图书馆我们可以看到，所有的书都被分类，例如，要找一本C语言的书籍，必须先找到”工科“分类，然后再找到”计算机“分类，再根据编号（类似于803.53x）找到需要的书籍，这是传统的方法。如果图书馆的书少，可以这么检索，如果有1亿本呢？10亿本呢？网络上的数据可远非图书馆的藏书量可比，动则数十亿，如果使用清晰的分类，那么不仅分类的人会疯，查询的人也会疯。因此，现在互联网上广泛使用”标签“，通过标签来检索图片、视频、音乐等。当然，有时人们会错标标签，这让习惯精确性的人很痛苦，但是，接受”混乱“给我们带来了两个好处：

由于拥有了远比”分类"数量多得多的标签，我们能够获得更多的内容。
可以通过标签组合来过滤内容。

例如，如果我们要检索“徐长卿”。“徐长卿”至少有三种身份：是一种中草药，是命名草药的人的名字，是仙剑3的主人公之一。如果按照传统分类法，可能“徐长卿”会被分到“中草药”类里，这还取决于分类的人。那么查询的人就不会知道它还有另外两重身份，或者只想查“徐长卿"这个人的人根本就不会到”中草药“类里查询。但是，如果使用”标签“，那么输入”徐长卿“+”草药“，即可查到草药；输入”徐长卿“+”仙剑3“即可查到游戏的主人公。

因此，使用”标签“代替”分类“，虽然有很多不精确的数据，但是却得到了大量标签，使得检索更方便，得到的结果更好了。