Hinton Neural Networks课程笔记2b:第一代神经网络之感知机

原创 2017年08月10日 16:09:52

感知机可以说是最简单最经典的神经网络模型了,简单而言就是对输入加权求和之后,得到一个评价值和一个threshold比较,从而进行分类。只能求取线性分类面,极大依赖于特征提取,但速度极快,适用于特征维度很大的情况。

传统模式识别框架

传统统计模式识别的标准流程分为三步,首先进行特征提取,然后学习一个加权求和,最后把求和得到的值与一个threshold比较,高于threshold即为正样本,低于则为负样本。而这个权重的学习方式不同,则形成了不同的模型。
perceptron architecture

感知机的历史

Hinton还介绍了一下感知机的历史,这部分笔者还蛮感兴趣的。
刚开始提出的时候(1960左右)学界对其期望很高,该模型也表现出了很好地能力,人们最初声称其可以学习很多问题;后来发现某些声称是不成立,例如当时说可以用感知机区分坦克和卡车,但是后来发现是因为坦克照片多拍摄于白天,卡车照片多拍摄于阴天,导致坦克照片的光强总和要高于卡车照片,感知机仅仅是学习到了这个部分。(这也提示了数据库随机采样,以及解释分析模型的重要性)。
之后Minsky和Papert证明了感知机的局限性,Hinton这里又抱怨了当时人们对这个结论泛化的过于厉害,都认为神经网络模型已经被证实能力有限了;Hinton当年开始做神经网络的时候,很多人和他说这个模型已经被证实能力不足了。
感知机现如今仍然广泛应用于特征维度上百万的情况(例如Google)。

感知机模型

perceptron
上图展示的就是感知机模型,注意到这里使用bias替代threshold,其中bias=-threshold。对于z大于0的情况判定为正样本,否则为负样本。使用bias可以简化学习流程,因为bias其实可以看做bias*1,所以对x进行拓展,在初始位置添加一个常值为1的特征,即可把bias看做w0,学习算法只需要学习权重即可。(这里其实就是Binary Threshold Neuron的两种表示,详情参考 Hinton Neural Networks课程笔记1c:几种激活函数Linear、Binary、ReLU、Stochastic binary neurons
bias

感知机学习算法

感知机学习算法很简单,所以很快。并且在数据集线性可分的情况下保证能够收敛,学习到把所有数据集完美分开的权重。
学习算法如下图所示:
learning algorithm
简而言之,只对分类错误的样本作反应,真值为1的样本在权重上加上输入向量,真值为0的样本在权重上减去输入向量。无限循环,直至收敛。

版权声明:本文为博主原创文章,未经博主允许不得转载。

deep learning 学习笔记(一):神经网络的发展

神经网络作为机器学习的一门重要技术,已经经历了数十年的发展。下面对它做一个简单的归纳。  (1) 奠基阶段 . 早在 40 年代初,神经解剖学、神经生理学、心理学以及人脑神 经元的电生理的研究等都富...
  • ycz28
  • ycz28
  • 2013年06月03日 14:46
  • 1808

Hinton Neural Networks for Machine Learning 第二讲: 感知机-几何描述

Hinton 第二讲: 感知机-几何描述Hinton 第二讲 感知机-几何描述 权值空间 Weight-space 为什么学习过程有效 感知机的局限 - 举例 区分简单图案权值空间( Weight-...
  • sinat_29315627
  • sinat_29315627
  • 2017年07月13日 15:58
  • 167

Machine Learning机器学习自学资料整理

机器学习目前比较热,网上也散落着很多相关的公开课和学习资源,做一个汇总整理,便于大家参考对比。希望大家持续补充|– 手册类 |--- 课程图谱博客:http://blog.coursegraph...
  • muzilanlan
  • muzilanlan
  • 2015年09月30日 20:20
  • 5175

神经网络学习笔记(五):感知机

神经网络(Neural Networks)是受到人类大脑对于外界事物认知方式的启发建立的机器学习算法,也叫人工神经网络(ArtificialNeural Networks)。...
  • qq_18515405
  • qq_18515405
  • 2014年11月18日 10:57
  • 1731

深度学习系列(3.1)——神经网络-感知机(Perceptrons)

1、神经网络的起始——感知器(perceptrons)说到神经网络,先要讲的当然是 感知器 ,感知器 在上世纪50年代末和60年代初由科学家 Frank\ Frank Rosenblatt 取得了进展...
  • Eddy_zheng
  • Eddy_zheng
  • 2016年02月20日 15:10
  • 4230

深度学习笔记(2)——卷积神经网络(Convolutional Neural Network)

卷积神经网络(Convolutional Neural Network, CNN)是深度学习转折的标志性成果,在深度学习的早期,以Hinton等为代表的学者们研究主要集中在RBM(限制波尔兹曼机),A...
  • qq_21190081
  • qq_21190081
  • 2017年04月05日 14:00
  • 2083

[机器学习] Coursera ML笔记 - 神经网络(Learning)

本文主要记录我在学习神经网络模型训练(参数学习)时的笔记,参考UFLDL Tutorial和Coursera ML,笔记中重点讨论了神经网络的代价函数模型和参数学习中的Backpropagation算...
  • walilk
  • walilk
  • 2016年01月12日 21:05
  • 6347

深度学习笔记二:多层感知机(MLP)与神经网络结构

以手写体识别为例子来讲一下基本结构,和实践中的基本使用思想。这是推广到更加复杂任务上的基础。...
  • xierhacker
  • xierhacker
  • 2016年12月16日 19:52
  • 3578

《机器学习》(Machine Learning)——Andrew Ng 斯坦福大学公开课学习笔记(二)

第3集  欠拟合和过拟合的概念 一、线性回归的解释 ,最后一项表示误差项(独立同分布),对前面未被建模的因素进行考虑,一般误差项的加和,根据中心极限定理,符合高斯分布 推出:...
  • u013896242
  • u013896242
  • 2015年08月06日 21:02
  • 1300

从感知机到人工神经网络

感知机算法感知机(Perceptron)算法是一种很好的二分类在线算法,它要求是线性可分的模型,感知机对应于在输入的空间中将实例划分成正负样本,分离它们的是分离超平面,即判别的模型。如下图所示:可用一...
  • taoyanqi8932
  • taoyanqi8932
  • 2016年12月31日 17:42
  • 5732
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Hinton Neural Networks课程笔记2b:第一代神经网络之感知机
举报原因:
原因补充:

(最多只允许输入30个字)