读书笔记-《大数据时代》

一、大数据和云计算是一个问题的两面

问题和问题的解决方法。

二、大数据时代处理理念上的三大转变

1.更多：要全体不要抽样

长久以来，由于记录、存储、分析数据的工具不够好，我们习惯了只收集少量数据进行分析，也就是抽样调查法。它存在许多问题，例如当样本数量达到某个值后，从新个体上得到的信息越来越少，即边际效应递减；不适合考察子类别的情况，细分子类错误率高。

总而言之，如果技术支持，一定是全量数据更好。

2.更杂：要混杂不要精确

算是第一点的延伸，在抽样调查时，我们更需要精准、正确的数据，但那些错误的数据，也是有商业价值的。

例如书中举例的华盛顿一个炼油厂，无线感应器遍布全厂，产生大量实时数据。其中有一些错误数据，由于其占比极少，并不影响结果，但却因此发现了某些原油有更强的腐蚀性。

3.更好：要相关不要因果

简单来说，传统模式是我们先提出因果关系，然后进行抽样调查，最后验证结果，而大数据模式下先通过大数据得到了相关关系，再反过来帮助我们去推测、分析其因果关系。

三、大数据的核心是预测

这是2012年的书了，初读时还在上大学。

书中给出的大量案例非常有趣，但多是国外的互联网大厂、企业。随着国内短视频的爆火，“大数据记住我”、“号已养好”等梗的出现，也算是让大数据、算法、人工智能的知识普及到所有人。

早些年AlphaGo与李世石的围棋大战、最近的ChatGPT、Sora，下个十年还会有什么惊喜呢，真是令人期待啊。