感知机-BP神经网络

原创 2017年01月04日 00:41:06

感知机(perceptron)

数据集的线性可分:
对数据集 这里写图片描述这里写图片描述 若存在某个超平面 w·x+b=0,能够将数据集的正实例点和负实例点完全正确地划分到超平面的两侧,即对所有y=+1的实例,w·x+b>0,对所有y=-1的实例,w·x+b<0,则认为数据集T线性可分。

感知器(perceptron)1957年由Rosenblatt提出,是神经网络与支持向量机的基础。感知器是二类分类的线性分类模型,其输入为实例的特征向量,输出为实例的类别,取+1和-1二值。感知机的目的就是通过训练数据寻找分离超平面使得实例能被正确的划分为正负两类。

感知机中的损失函数:
要找到分类超平面即确定f(x)=w·x+b中的参数w,b,因此需要制定一个学习策略,即定义经验(损失)函数并将这个损失函数极小化。

这里写图片描述
这里写图片描述

感知机学习算法描述:
这里写图片描述

感知机算法步骤:
这里写图片描述

感知机算法的收敛性:
对于线性可分数据感知机学习算法原始形式收敛,即经过有限次迭代可以得到一个将训练数据集完全正确划分的分离超平面即感知机模型。详细证明可以参考(《统计学习方法》李航)

神经网络

感知机就是具有两层神经元组成的神经网络,输入层接受外界输入信号后传递给输出层,输出层是M-P神经元。但是这种模型只能解决线性分类问题,对于非线性分类问题则需要构建多层功能神经元。

M-P神经元模型:
这里写图片描述
这里写图片描述

以BP神经网络模型为例,多层功能神经元如下图所示。

这里写图片描述

  • 输入层(input layer):输入层各神经元负责接收来自外界的输入信息,并传递给中间层各神经元;
  • 隐藏层(Hidden Layer):中间层是内部信息处理层,负责信息变换,根据信息变化能力的需求,中间层可以设计为单隐层或者多隐层结构;最后一个隐层传递到输出层各神经元的信息,经进一步处理后,完成一次学习的正向传播处理过程;
  • 输出层(Output Layer):顾名思义,输出层向外界输出信息处理结果;

神经网络的学习过程,就是根据训练数据来调整神经元之间的“连接权”以及每个功能神经元的阈值。

BP神经网络算法(误差逆传播 error BackPropagation)

这里写图片描述
这里写图片描述

BP是一个迭代学习的算法,在迭代中的每一轮采用上述感知机的学习规则对参数进行更新估计

这里写图片描述

更新规则的推导:

这里写图片描述

这里写图片描述
这里写图片描述

BP算法的工作流程:
这里写图片描述

Tip: 此处为“标准BP算法”更新规则是仅针对一个训练样例来更新连接权和阈值,若要根据累积误差最小化的更新规则,就得到了累积误差逆传播算法。标准BP和累积BP的区别:由于更新规则不同,为了达到同样的累积误差极小点,标准BP需要迭代的次数更多

参考:
《统计学习方法》 李航
《机器学习》 周志华

版权声明:本文为博主原创文章,未经博主允许不得转载。

从感知机到人工神经网络

感知机算法感知机(Perceptron)算法是一种很好的二分类在线算法,它要求是线性可分的模型,感知机对应于在输入的空间中将实例划分成正负样本,分离它们的是分离超平面,即判别的模型。如下图所示:可用一...

BP神经网络(二)——感知机

感知机是神经网络的基础,理解了感知机,BP神经网络的推导就很简单了。感知机有两层神经元组成,如下图所示,输入层接收外界信号后传递给输出层。 1.感知机模型   官方定义:假设输入空间(特征空间)是...

神经网络和深度学习简史(第一部分):从感知机到BP算法

http://it.sohu.com/20160123/n435630017.shtml 神经网络和深度学习简史(第一部分):从感知机到BP算法 机器之心Synced2016-01-23 ...

深度|神经网络和深度学习简史(第一部分):从感知机到BP算法

导读:这是《神经网络和深度学习简史》第一部分。这一部分,我们会介绍1958年感知机神经网络的诞生,70年代人工智能寒冬以及1986年BP算法让神经网络再度流行起来。 深度学习掀起海啸...

神经网络学习笔记(十):多层感知机(中)--BP算法

多层感知机监督训练在线学习的流行正是由于反向传播(BP算法)算法的提出而得到了加强,BP算法可以说是神经网络的核心算法。           如下图所示,神经元j被它左边的一层神经元产生的一组函数信...

从双层感知机到BP神经网络的Delta规则

@(人工智能)BP神经网络推导–通过误差传递学习内部表达这是研一学习一门课程的课程实践,当时和另一位实验室小伙伴合作完成BP神经网络的推导以及部分应用,参考的是一本外文书籍(影印版)的部分章节,有我自...

神经网络和深度学习简史1-从感知机到BP神经网络

原文作者:Andrey Kurenkov  机器之心编译出品 原文地址:http://www.almosthuman.cn/2016/01/23/koarh/ 导读:这是《神经网络...

神经网络 感知机C程序

  • 2011年10月14日 15:09
  • 2KB
  • 下载

神经网络感知机实现与非电路

  • 2010年01月03日 22:23
  • 456B
  • 下载

从感知机到BP神经网络,简单BP神经网络的实现

1、感知器 要了解BP神经网络之前,必须先来看看第一代神经网络–感知器。虽然它非常简陋,但却有着一些思想,一直沿用到现在。 1.1感知器的构造: 感知器是由两层神经元构成,在百度上可以找到它的构...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:感知机-BP神经网络
举报原因:
原因补充:

(最多只允许输入30个字)