思维的革命《智能时代--大数据和智能革命重新定义未来》

讲思维的革命,我们知道,大数据是一种全新的思维方式,按照大数据的思维方式,我们做事情的方式也有不同。首先,大数据的思维方式是什么样的呢在无法确定因果关系时,数据为我们提供了解决问题的新方法。数据中包含的信息帮助我们消除不确定性,而数据之间的相关性在某种程度上可以取代原来的因果关系,帮助我们得到我们想知道的答案,这就是大数据思维的核心。

      我的理解就是,大数据有庞大的数据,在我们要解决一些问题的时候,我们可能无法直接获得自己想要的,但是我们可以利用这些庞大的数据来获得与我想要的相关的一系列信息,进而推出我想要的。

      大数据是全新的思维方式,在17世纪以来,我们做事的思维方式都是机械思维。那么思维方式如何产生的?为什么影响力延伸至今?与大数据思维方式有什么关联和区别?   

      在博客“https://blog.csdn.net/qq_36654309/article/details/83661918机械思维的历史《智能时代--大数据和智能革命重新定义未来》”里面,我已经讲了机械思维的历史。     

       在博客“https://blog.csdn.net/qq_36654309/article/details/83662493机械思维的影响《智能时代--大数据和智能革命重新定义未来》”里,我讲了机械思维有什么影响。

       从牛顿开始,人类社会的进步很大程度上得益于机械思维,但在信息时代,局限性会很明显,并非所有的原理都可以用简单的原理描述,找到因果关系也很难,另外,人们对世界认识的越来越清楚,人们发现世界本身存在很大的不确定性,所有,在现代社会里,人们开始考虑承认不确定性情况下如何取得科学的突破,这就导致了一种新的方法论的产生。

      我们的世界存在很大的不确定性,主要有两个方面

(1)影响世界的变量其实非常多,无法通过简单的办法或者公式算出结果。如掷骰子会受到色子的形状、密度分布、出手的力量、旋转的角速度、空气流动的速度、桌面的弹性系数、色子的弹性系数、两种材质的物理性质等因素,考虑所有的因素结果也未必准确,人们假定为1/6。另一个例子就是股市,在尽可能考虑各种经济数据的影响,最终预测的准确性在50%左右。

(2)客观世界本身,它是宇宙的一个特性。量子力学里面有个测不准原理,就是说,像电子这样的基本粒子的位置的测量误差和动量的测量误差的乘机不可能无限小。这与机械思维所认定的世界确定性是相违背的。世界上很多事情很难用确定的公式或者规律来描述。但是,他们并非没有规律可循,通常可以用概率模型来描述。在概率模型的基础上,香农博士建立起一套完整的理论,将世界的不确定性和信息联系了起来,这就是信息论。信息论不仅是通信的理论,也给人们一种看待世界和处理问题的新思路。

       信息论最初是通信的理论。我们常常说信息量大或者小,但是,信息能否被量化的度量?如果能,又该怎么度量?有人说,信息和数据有直接的的关系,用数据量来表示信息量,但是数据量不能与信息量直接划等号。比如,不能根据两本书的字数来比较两本书的信息量。那么,应该如何度量信息?直到1948年,克劳迪.香农在他著名论文《通信的数学原理》中提出了“信息熵”的概念,才解决了对信息的度量问题,并且量化的给出了信息的作用。同时,香农还把信息和世界的不确定性或者说无序状态联系到了一起。香农用熵来描述系统中的不确定性。香农指出,信息量与不确定性有关:假如我们需要搞清楚一件非常不确定性的事,或者一无所知的事情,就需要了解大量的信息,想法,如果我们对某件事已经有了足够多的了解,那么不需要太多的信息就能把他们搞清楚。所以,从这个角度来看,可以认为,信息量的度量就等于不确定性的多少,要消除系统内的不确定性,就要引入信息。至于要引入多少信息,就要看系统中的不确定性有多大。这种思路成为信息时代做事情的根本方法。比如投放广告、人脸识别。

       我们在利用信息时使用的很多原理和方法,在信息论中都能找到依据,比如“互信息”,可以解释为什么信息的相关性可以帮助我们解决很多问题。

       香农除了给出对信息和互信息的量化度量之外,还给出了两个有关信息处理和通信最基本的定律,即香农第一定律和香农第二定律。香农第一定律:也称为香农信源编码定律,假设有一个信息源,里面有N中信息,现在我们需要对这N种信息一一编码,比如1100表示第一种信息,100001100表示第二种,这些编码不能重复,否则就无法根据编码来断定哪一种信息了。香农第一定律讲的是,对于信源发出的所有信息设计一种编码,那么编码的平均长度一定大于该信源的信息熵,但同时,香农还指出,一定存在一种编码方式,使得编码的平均长度无限接近于它的信息熵。比如汉字编码,使用率高的编码就短一些,使用率低的编码就长些,但,编码的平均长度一定会超过汉子的不确定性。香农第二定律,就是说信息的传播速率不可能超过信道的容量。所以人们开始有意识的扩展带宽。比如说做生意要靠人脉,其实就是在拓宽企业对外连接的带宽,来促进企业的发展。

       关于信息论,还必须了解最大熵原理,就是说当我们要对一个未知的事件寻找一个概率模型时,这个模型应该满足我们看到的数据,但是对未知的情况不要做任何主观假设。在很多领域,尤其是金融领域,采用最大熵原理要比任何人为假设的理论更加有效,因为它被广泛应用于机器学习。

      有了信息论这样一个工具和方法,我们很容易认清大数据的本质了。在我的博客“https://blog.csdn.net/qq_36654309/article/details/83719549大数据的本质《智能时代--大数据和智能革命重新定义未来》”里我讲了大数据的本质。

       https://blog.csdn.net/qq_36654309/article/details/83719947我又在这里讲了强相关关系,这样,大家应该就差不多懂啦

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值