感知机:神经网络的基石

原创 2018年04月17日 01:37:11
感知机是监督学习算法中最基础的一种,也是神经网络,以及现在最流行的深度学习的基石。
感知机是一种二分线性分类模型,输入为N维向量X,输出为分类值Y。感知机的目的是在特征空间中找到一个超平面,将输入划分为两个部分。

感知机的集合解释是学习到一个 W*X + b = 0 的超平面,将数据集分类为两个部分。而如果一个数据集能够找到一个这样的超平面S将数据集的所有正负实例都完全正确地分解到超平面的两侧,则称数据集T是线性可分书籍及,否则称数据集为线性不可分数据集。

如何定义感知机的损失函数呢?
一种天然的选择是误分类点的总数,只有将误分类点的总数下降到最小,直到0,我们就能够学习到满足要求的超平面。但是这样的损失函数不是对于参数w,b连续可导的函数,所以不方便我们学习。
另一种选择就是,误分类点到超平面S的总距离。
我们假设其中任意一点x0到超平面S的距离为:
那对于误分类点(xi,yi)有:
那么误分类点到超平面的距离就应该是

所有误分类点到超平面S的距离为

其中上式被红圈圈住的部分是一个常数,可以不考虑

我们就得到了损失函数的定义

我们要学习到超平面,就只需要将顺势函数降之最小,当损失函数等于0时,超平面将所有数据集完全分到了它的两侧。

感知机的学习算法有两种形式,一是梯度下降,二是对偶形式:



从感知机到人工神经网络

感知机算法感知机(Perceptron)算法是一种很好的二分类在线算法,它要求是线性可分的模型,感知机对应于在输入的空间中将实例划分成正负样本,分离它们的是分离超平面,即判别的模型。如下图所示:可用一...
  • taoyanqi8932
  • taoyanqi8932
  • 2016-12-31 17:42:41
  • 8127

双输入感知器(Perceptron)的决策空间

感知器(Perceptron) 感知器是一种二元分类器,它是神经网络的基石。感知器是对神经细胞的模拟,如权量(突触)、偏置(阈值)及激活函数(细胞体)。 输入以向量...
  • liuyukuan
  • liuyukuan
  • 2017-06-08 19:46:54
  • 372

神经网络(上):神经元与感知机

二十世纪四十年代 M-P 神经元模型、Hebb 学习律出现后,五十年代出现了以感知机、Adaline 为代表的一系列成果。后来因为单层神经网络无法解决非线性问题,而多层网络的训练算法尚看不到希望,神经...
  • jsksxs
  • jsksxs
  • 2017-05-17 19:57:05
  • 1332

深度学习系列(3.1)——神经网络-感知机(Perceptrons)

1、神经网络的起始——感知器(perceptrons)说到神经网络,先要讲的当然是 感知器 ,感知器 在上世纪50年代末和60年代初由科学家 Frank\ Frank Rosenblatt 取得了进展...
  • Eddy_zheng
  • Eddy_zheng
  • 2016-02-20 15:10:01
  • 5262

神经网络(一) 感知机

《计算智能》是北航开的一门研究生课程,主要内容为神经网络的原理和应用。该课程从圣经网络的原理开始,以感知机、简单神经网络为过渡,最后以深度学习结束。此博文为在学习该门课程的过程中,自己在完成课程作业的...
  • Hans__Yang
  • Hans__Yang
  • 2016-10-25 21:06:12
  • 325

神经网络学习笔记(一) 单层感知机

前向网络神经网络分为从传播来讲分为两种: 1.前馈神经网络(前向网络) 2.反馈神经网络前向网络没有反馈机制,也就是自能向前传播而不能反向传播来调整权值参数。感知机就属于前向网络。如上图 一个输入...
  • cyhbrilliant
  • cyhbrilliant
  • 2016-09-20 20:40:15
  • 3477

从感知机到深度神经网络,带你入坑深度学习

机器学习工程师 Adi Chris 最近学习完吴恩达在 Coursera 上的最新课程后,决定写篇博客来记录下自己对这一领域的理解。他建议通过这种方式可以有效地深入理解一个学习主题。除此之外,也希望这...
  • Uwr44UOuQcNsUQb60zk2
  • Uwr44UOuQcNsUQb60zk2
  • 2018-01-16 06:50:39
  • 2541

机器学习——感知机与神经网络

学习周志华老师的《机器学习》“神经网络篇”的笔记
  • codman
  • codman
  • 2017-10-09 21:29:07
  • 151

神经网络和深度学习简史1-从感知机到BP神经网络

原文作者:Andrey Kurenkov  机器之心编译出品 原文地址:http://www.almosthuman.cn/2016/01/23/koarh/ 导读:这是《神经网络...
  • dahuacai
  • dahuacai
  • 2016-01-26 23:03:56
  • 2075

感知机-BP神经网络

感知机(perceptron)数据集的线性可分: 对数据集 若存在某个超平面 w·x+b=0,能够将数据集的正实例点和负实例点完全正确地划分到超平面的两侧,即对所有y=+1的实例,w·x+b>0,...
  • GaoShan1011
  • GaoShan1011
  • 2017-01-04 00:41:06
  • 522
收藏助手
不良信息举报
您举报文章:感知机:神经网络的基石
举报原因:
原因补充:

(最多只允许输入30个字)