Hinton Neural Networks课程笔记2b:第一代神经网络之感知机

原创 2017年08月10日 16:09:52

感知机可以说是最简单最经典的神经网络模型了,简单而言就是对输入加权求和之后,得到一个评价值和一个threshold比较,从而进行分类。只能求取线性分类面,极大依赖于特征提取,但速度极快,适用于特征维度很大的情况。

传统模式识别框架

传统统计模式识别的标准流程分为三步,首先进行特征提取,然后学习一个加权求和,最后把求和得到的值与一个threshold比较,高于threshold即为正样本,低于则为负样本。而这个权重的学习方式不同,则形成了不同的模型。
perceptron architecture

感知机的历史

Hinton还介绍了一下感知机的历史,这部分笔者还蛮感兴趣的。
刚开始提出的时候(1960左右)学界对其期望很高,该模型也表现出了很好地能力,人们最初声称其可以学习很多问题;后来发现某些声称是不成立,例如当时说可以用感知机区分坦克和卡车,但是后来发现是因为坦克照片多拍摄于白天,卡车照片多拍摄于阴天,导致坦克照片的光强总和要高于卡车照片,感知机仅仅是学习到了这个部分。(这也提示了数据库随机采样,以及解释分析模型的重要性)。
之后Minsky和Papert证明了感知机的局限性,Hinton这里又抱怨了当时人们对这个结论泛化的过于厉害,都认为神经网络模型已经被证实能力有限了;Hinton当年开始做神经网络的时候,很多人和他说这个模型已经被证实能力不足了。
感知机现如今仍然广泛应用于特征维度上百万的情况(例如Google)。

感知机模型

perceptron
上图展示的就是感知机模型,注意到这里使用bias替代threshold,其中bias=-threshold。对于z大于0的情况判定为正样本,否则为负样本。使用bias可以简化学习流程,因为bias其实可以看做bias*1,所以对x进行拓展,在初始位置添加一个常值为1的特征,即可把bias看做w0,学习算法只需要学习权重即可。(这里其实就是Binary Threshold Neuron的两种表示,详情参考 Hinton Neural Networks课程笔记1c:几种激活函数Linear、Binary、ReLU、Stochastic binary neurons
bias

感知机学习算法

感知机学习算法很简单,所以很快。并且在数据集线性可分的情况下保证能够收敛,学习到把所有数据集完美分开的权重。
学习算法如下图所示:
learning algorithm
简而言之,只对分类错误的样本作反应,真值为1的样本在权重上加上输入向量,真值为0的样本在权重上减去输入向量。无限循环,直至收敛。

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/silent56_th/article/details/77054532

深度学习(一)深度学习的发展历史

本次深度学习系列主要从以下几个方面记录,主要为CNN相关 另外最后会专留一章讲述CNN与计算机视觉中的目标检测的发展。∙\bullet发展历史 ∙\bullet基础结构 ∙\bullet损失函数...
  • u012177034
  • u012177034
  • 2016-08-19 17:19:06
  • 15805

神经网络的回忆和初尝

这个国庆挺无聊的,没事就想回忆回忆下大学里面学习的算法。最近有关AI的话题互联网和研究界都多了起来。那么就让我们看看简单的AI到底是怎么实现的吧。实际上所谓的神经网络学习不要以为很高深,归根究底都是些...
  • my_wlggy
  • my_wlggy
  • 2016-10-04 16:11:33
  • 306

deep learning 学习笔记(一):神经网络的发展

神经网络作为机器学习的一门重要技术,已经经历了数十年的发展。下面对它做一个简单的归纳。  (1) 奠基阶段 . 早在 40 年代初,神经解剖学、神经生理学、心理学以及人脑神 经元的电生理的研究等都富...
  • ycz28
  • ycz28
  • 2013-06-03 14:46:39
  • 2079

多图|一文看懂25个神经网络模型

在深度学习十分火热的今天,不时会涌现出各种新型的人工神经网络,想要实时了解这些新型神经网络的架构还真是不容易。光是知道各式各样的神经网络模型缩写(如:DCIGN、BiLSTM、DCGAN……还有哪些?...
  • scutjy2015
  • scutjy2015
  • 2017-07-03 08:20:46
  • 12045

神经网络和深度学习简史1-从感知机到BP神经网络

原文作者:Andrey Kurenkov  机器之心编译出品 原文地址:http://www.almosthuman.cn/2016/01/23/koarh/ 导读:这是《神经网络...
  • dahuacai
  • dahuacai
  • 2016-01-26 23:03:56
  • 2075

从感知机到深度学习

一 从感知机到深度学习 第一个正式的神经元模型是由沃伦·麦卡洛克(Warren Maculloach)和沃尔特·皮茨(Walter Pitts)于1943年提出的。这个模型看起来很像组成计算机的逻辑...
  • webchengxuyuan
  • webchengxuyuan
  • 2017-03-11 20:37:41
  • 366

深度学习-神经网络 历史

一   2016 年一月底,人工智能的研究领域,发生了两件大事。   先是一月二十四号,MIT 的教授,人工智能研究的先驱者,Marvin Minsky 去世,享年89 岁。   三...
  • u013378306
  • u013378306
  • 2016-08-20 11:32:13
  • 11832

机器学习中使用神经网络第三讲笔记

Geoffrey Hinton教授的Neuron Networks for Machine Learning的第三讲主要介绍了线性/逻辑神经网络和BackPropagation,下面是整理的笔记。Le...
  • MajorDong100
  • MajorDong100
  • 2016-05-05 11:50:20
  • 5666

Hinton Neural Networks课程笔记4a:使用神经网络做逻辑推理

PPT中的标题是Learning to predict the next word(学习预测下一个单词),是从实际操作中得出的,但笔者认为这里使用神经网络做逻辑推理的例子很典型,所以拿出来做标题了。 ...
  • silent56_th
  • silent56_th
  • 2017-09-08 14:30:51
  • 689

Hinton Neural Networks课程笔记1b:神经网络模拟的大脑机理

课程主要讲的是神经网络,而其初始的时候是模拟的人类大脑内部的机理。所以这部分介绍一些大脑内部的机理,主要是其被神经网络模拟的部分,以及其具有的优点。1. 为什么研究神经科学 研究大脑机理。大脑庞大复杂...
  • silent56_th
  • silent56_th
  • 2017-07-21 21:45:01
  • 360
收藏助手
不良信息举报
您举报文章:Hinton Neural Networks课程笔记2b:第一代神经网络之感知机
举报原因:
原因补充:

(最多只允许输入30个字)