探析神经网络

最新推荐文章于 2024-07-17 02:03:42 发布

caiggle

最新推荐文章于 2024-07-17 02:03:42 发布

阅读量1.2k

点赞数 2

分类专栏：机器学习文章标签：神经网络机器学习深度学习

本文链接：https://blog.csdn.net/weixin_53515832/article/details/122785413

版权

机器学习专栏收录该内容

1 篇文章 0 订阅

订阅专栏

前言：神经网络的研究早在20世纪40年代就已经开始了，发展到今天形成了庞大的体系并且具有多学科交叉的特点。

一、神经元模型

由于神经网络具有多学科交叉的特点，所以对于神经网络的定义不一。我们采用最广泛的一种定义，即由Kohonen于1988年提出的：神经网络（neural networks）是由具有适应性的简单单元组成的广泛并行互联的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。

下面我们来看看经久不衰的M-P神经元模型。
在这里插入图片描述
为了便于理解，我对这个模型做一个简单的解释：n个神经元分别产生各自的输入x1、x2······xn，各自附有连接权重w1、w2······wn，输入值与接收的神经元阈值seta进行比较，通过激活函数产生输出。

常见的激活函数：

1.阶跃函数

在这里插入图片描述

x= linspace(0,1,101);
y = [zeros(1,50),ones(1,51)];
plot(x,y);

2.sigmoid函数

在这里插入图片描述

x= [-100:0.1:100];
y=1./(1+exp(-x) );
plot(x,y);

3.tanh函数

……另外激活函数还有很多这里就不一一列举了。需要指出的是单位阶跃函数是我们理想的激活函数，但由于其不是很光滑，性质不是很好，大多数情况下我们使用其他函数来代替单位激活函数。

二、感知机与多层前馈神经网络

为了更好地理解感知机与多层网络，我们首先可以建立逻辑与、或、非、异或、或非、与非的概念。

与：当所有输入条件同时满足1，输出1；输入条件只要有0即输出0。

或：输入条件有1即输出1；一个1也没有才输出0。

非：输出结果与输入条件取反。即0为1，1为0。

异或：对于两个输入门，输入条件相同为0，不同为1

或非：对于两个输入门，两输入条件都不为1时输出1；否则输出0。

与非：当输入条件都为1时反而输出0。

1.感知机

（1）定义

感知机由两层神经元组成，即输入层接受外界信号后加权传递给输出层。

（2）工作

我们知道在这里插入图片描述
假定f为单位阶跃函数，通过控制权重和阈值可以实现逻辑与或非运算。那么我们很容易想到，权重和阈值如何确定呢？
答案是“学习”。其实阈值可看作固定输入为-1的“哑结点”，对应的连接权重为Wn+1，这样的话“学习”就等同于对于权重的学习。遵循“知错就改”的学习规则，即：
在这里插入图片描述

其中η（0<η<1）成为学习率，感知机根据估计值的错误程度进行调整。

2.多层前馈神经网络

实际上，感知机仅有一层功能神经元，即仅有输出层进行激活函数处理，能力有限，对于解决异或等逻辑问题显得能力不足。

先来谈谈线性可分与非线性可分问题：
此处就不给出严密的定义了，线性可分即为用一个线性超平面可以将两类模式分开，反之即为非线性可分。

对于异或问题，有：
在这里插入图片描述
只能用两个线性超平面将两类分割，这样，我们原有的具有两层神经元的感知机就要扩展层数了，发展为多层神经网络，引入的层处于输入层和输出层之间，称为隐层，那么就有单隐层前馈网络与双隐层前馈网络。如果网络拓扑结构上不存在环或者回路，那么称之为多层前馈神经网络。

三、BP算法

要发展多层神经网络，就必须有强大的算法支撑，毕竟感知机的“知错就改”型学习规则太简单了。下面我们来看看至今为止最成功的神经网络算法——误差反向传播法。
对于具体的推导，方法不一，入手角度也不一，我用隐层到输出层的权重推导了1h，十分复杂，很容易就搞错了符号和下标。
推荐：[https://blog.csdn.net/u010858605/article/details/69857957]
关于累积BP与标准BP：
首先我们应该明确，BP算法的目标是最小化训练集上的累积误差，但标准BP算法每次只针对单个训练样例更新权重，更新显得更加频繁，处理更加复杂，时间也较长，并且不同次更新可能互相抵消。累积BP算法针对累积误差最小化，处理速度较快，但在某些问题中，累积误差减小到一定程度后难以下降，这时标准BP算法可能就取得较好的解。