西瓜书chapter5简摘

最新推荐文章于 2024-08-20 10:58:52 发布

yangtz23

最新推荐文章于 2024-08-20 10:58:52 发布

阅读量301

点赞数

文章标签：人工智能算法

本文链接：https://blog.csdn.net/weixin_45432647/article/details/128070639

版权

神经元

多层前馈神经网络

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lhX4uGrY-1669557262781)(C:\Users\zp99z\AppData\Roaming\Typora\typora-user-images\image-20221127154247493.png)]$

每层神经元之间并不存在同层连接，也不存在跨层连接，并且与下层完全连接。
两端分别为输入层/输出层，中间为隐层/隐含层（hidden layer）
隐含层和输出层都是具有激活函数的功能神经元。输入层仅能接受输入，不进行函数处理。
神经网络的学习过程就是确定，训练数据调整神经元之间的“连接权”（connected weight)以及神经元之间的阈值。

误差逆传播算法（error BackPropagation,BP）

一种训练多层网络的迭代学习算法

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kBx18gLv-1669557145979)(C:\Users\zp99z\AppData\Roaming\Typora\typora-user-images\image-20221127200251367.png)]$

W_ql,v_dq分别代表输出层、输入层与内参的连接权，b_q代表节点上的阈值。l、q、d分别代表输出的种类，内参的个数、输入的种类

每个训练样例， BP 算法执行以下操作:

先将输入示例提供给输入层神经元，然后逐层将信号前传，直到产生输出层的结果;然后计算输出层的误差，再将误差逆向传播至隐层神经元，最后根据隐层神经元的误差来别连接权和|词值进行调整.该法代过程循环进行，直到达到某些停止条件为止.

累积误差逆传播算法（ABP）：标准BP算法（上述算法），针对的是一个训练样例的连接权和阈值更新。而ABP算法则是针对所有样例读取一遍后再进行整体更新。在训练集较大的情况下，标准BP效果好于ABP。
BP神经网络容易”过拟合“：因此提出了两种解决办法

1、早停：划分测试集，当训练集误差降低而测试集误差变高时取前一次结果作为最终结果。

2、正则化：增加网络复杂度的描述，对经验误差和网络复杂度折中考量。

其他常见神经网络

ART（adaptive resonance theory）自适应谐振网络：比较层、识别层、识别阔值和重置模块构成.其中 7 比较层负责接 41;c输入样本?并将其传递给识别层神经元.识别层每个神经元对应 J 个模式类，神经元数目可在训练过程中动态增长以增加新的模式类.**“竞争”**识别层神经元相互竞争得到神经元控制权，神经元根据阈值判别情况可以增加。
SOM(Self-Organizing Map ，自组织映射)网络：在接收到一个训练样本后.每个输出层神经局会计算该样本与自身携带的权向量之间的距离，距离最近的神经兀成为竞争获胜者，称为最佳匹配单; (best matching unit). 然后，最佳匹配单元及其邻近神经元的权向量将被调整，以使得这些权向量与当前输入样本的距离缩小.这个过程不断迭代，直至收敛.
级联相关 (Casc ade-Correlation ) 网络：级联相关网络有两个主要成分"级联"和"相关" 级联是指建立层次连接的层级结构 .在开始训练时，网络只有输入层和输出层，处于最小拓扑结构;随着训练的进行，如图 5.12 所示，新的隐层神经元逐渐加入，从而创建起层级结构. 当新的隐层神经元加入时，其输入端连接权值是冻结固定的相关是指通过最大化新神经元的输出与网络误差之间的相关性( corre l ation) 来训练相关的参数
递归神经网络 (recurrent neural networks) ：允许网络中出现环形结构，从而可让一些神经元的输出反馈回来作为输入信号.这样的结构与信息反馈过程，使得网络在 t 时刻的输出状态不仅与 t 时刻的输入有关，还与 t 一 1 时刻的网络状态有关，从而能处理与时间有关的动态变化。
Boltzmann 机

刻的网络状态有关，从而能处理与时间有关的动态变化。

Boltzmann 机

神经网络中有一类模型是为网络状态定义一个"能量" (energy) ，能量最小化时网络达到理想状态，而网络的训练就是在最小化这个能量函数.Boltzmann 机 [Ackley 因此， 1985] 就是一种"基于能量的模型" (energy-basedmodel) ，常见结构如罔 5.14(a) 所示?其神经元分为两层:显层与隐层.显层用于表示数据的输入与输出，隐层则被理解为数据的内在表达. Boltzmann 机中的神经元都是布尔型的吗即只能取 0 、 1 两种状态，状态 1 表示激活，状态0表示抑制