感知机
文章平均质量分 72
silent56_th
大学生一枚,对机器学习、图像处理感兴趣,偶尔也会刷刷leetcode或者hihocoder。希望在这里可以和大家多多交流,互相学习。
展开
-
Hinton Neural Networks课程笔记2b:第一代神经网络之感知机
感知机可以说是最简单最经典的神经网络模型了,简单而言就是对输入加权求和之后,得到一个评价值和一个threshold比较,从而进行分类。只能求取线性分类面,极大依赖于特征提取,但速度极快,适用于特征维度很大的情况。传统模式识别框架传统统计模式识别的标准流程分为三步,首先进行特征提取,然后学习一个加权求和,最后把求和得到的值与一个threshold比较,高于threshold即为正样本,低于则为负样本。原创 2017-08-10 16:09:52 · 1878 阅读 · 0 评论 -
Hinton Neural Networks课程笔记2c:感知机的几何解释
此部分,Hinton从几何角度解释了感知机。这里不是使用权重作为超平面,输入数据作为空间内点的解释方式;相反,这里使用权重作为空间内点,每一维对应于一维权重,输入数据被看做constrain,限制合法权重的空间。 具体的,输入数据和权重维数相同(使用bias,而不是threshold),则每个输入数据可以对应于权重空间中的一个向量(起始点为原点),则对该数据的分类取决于权重向量(起始点为原点)和输原创 2017-08-12 11:32:13 · 1045 阅读 · 0 评论 -
Hinton Neural Networks课程笔记2e:感知机的局限性
感知机的局限性用一句话就是只能对线性可分的数据集收敛。基于感知机的局限性,体现出了特征提取的重要性,进而提出了使用隐层节点学习特征提取的重要性;然后稍微分析了一下学习特征提取的难度。1. 前提条件:特征提取固定首先明确感知机局限性的前提条件:特征提取固定。 如果特征提取的足够多,感知机可以对任意二值输入向量分类(任意有理数域信息都可以表示为二值向量,只需要特征提取为所有二值向量的表示(共2|x|2原创 2017-08-21 20:12:52 · 1835 阅读 · 4 评论 -
Hinton Neural Networks课程笔记2d:为什么感知机的学习算法可以收敛
感知机的学习算法非常简单,就是每次选取一个样本,如果预测错误,则根据样本真值,权重加减一个输入向量。这和一般使用的附有学习率的优化算法不一样,没有一个超参数,使其快速而且简洁。而为什么这样一个简单的算法可以work,Hinton在这节加以说明。注意此部分是直观层次的解释,不是严谨的数学推导。上一节有提到感知机的几何解释,其中有一个结论是在权重空间内,感知机的合法解是连续的,位于一个被多个超平面限制的原创 2017-08-14 22:40:28 · 1183 阅读 · 0 评论