为什么在反向传播中感知器初始值不能为0_人工智能可以为我们做什么?世界皆可二分类...

三大门派之符号主义

认为人工智能源于数理逻辑,其代表性的成果为启发式程序LT逻辑理论家,它证明了38条数学定理,表明了可以应用计算机研究人的思维过程,模拟人类智能活动。在这过程中,最重要的实际应用就是专家系统,通俗点说,在医院看病,一些德高望重的专家总是受欢迎的,应用一些专家的先验知识结合计算机进行工程应用。专家系统的成功开发与应用,为人工智能走向工程应用和实现理论联系实际具有特别重要的意义。

4404e89418ebecd5f5982a6d06d3cc98.png

三大门派之连接主义

认为人工智能源于仿生学,特别是对人脑模型的研究。它从神经元开始进而研究神经网络模型和脑模型,开辟了人工智能的又一发展道路。整个的发展阶段从成果来说,MP(单个神经元模型)- 感知器(单层神经网络)- 多层BP算法 - 深度神经网络(CNN、RNN等)。连接主义势头大振,从模型到算法,从理论分析到工程实现,为神经网络走向市场打下基础。

85b9a604987d0a14c641a0653b6915b1.png

三大门派之行为主义

认为人工智能源于控制论,它是把神经系统的工作原理与信息理论、控制理论、逻辑以及计算机联系起来。早期的研究工作重点是模拟人在控制过程中的智能行为和作用,如对自寻优、自适应、自镇定、自组织和自学习等控制论系统的研究,并进行“控制论动物”的研制。代表性作品像是鲁克斯(Brooks)的六足行走机器人。

6815a8a2e2ad2fb06b9aec4e57b30db8.png

世界皆可二分类
提起在AI分类预测领域,能与人工神经网络与之相较的SVM(Support Vector Machine),因为往往很多时候都是"杀鸡焉用牛刀",一个小小的二分类往往用不上复杂且训练难度很大的神经网络。SVM最主要的思想就是低维向高维的映射以及核函数的提出。像高维映射的最主要是解决在低维层面,分类边界的函数往往是不够的,但是高维的计算,往往就像是深度神经网络一样,计算难度很大,这个时候核函数就起到了一个中间的"桥梁",只需按照核函数的规则,计算低维数据,便可等价为高维计算。由此也成为深度神经网络进入寒冬期的一个最主要的原因,因为SVM有时候确实表现的很好,分类效果有一种堪比"世界皆可二分类"的雄心壮志。

a9525efc7be6c55eed38ccf7cec959b4.png

AI之神经网络寒冬期

像技术的发展规律一样,"人生总是起起伏伏"。作为AI主流的技术,人工神经网络也是经历起起伏伏。寒冬期之层级的限制:人工神经网络之所以能够在像人脸识别、音频转换等等任务中表现良好,最主要的原因就是仿真大脑的多层处理机制,但是当感知器(单层)进展到一定地步,一个最主要的问题凸显出来了,对于人脑一个简简单单的异或问题(XOR)线性不可分问题是很容易解决的,但是对于单层而言是不能解决的。所以Hinton提出BP算法,自然成为寒冬期的人工神经网络的救世主。Hinton也被人称为深度学习之父。

3292e22cce7f3a600e42ad343b24dd20.png

利用反向传播的思想,顺利解决了层级的限制。寒冬期之简单有效算法的出现:由于深度学习网络,其中涉及到的大量参数的计算,对于计算机的能耗是非常大的,所以在一些简单的任务上,一些简单明了的算法(SVM、决策树),效果也如人工神经网络一样,所以至此深度神经网络也因此不被重用起来。但是层级加上单个神经元的模拟总是跟人是类似的,所以它的发展并不会消沉太久,目前已是呈现爆发式增长的应用。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值