【计算智能】读书笔记 第二章节 神经网络

---

1. 神经网络基本原理

• 树突较短，分枝多，接收其他神经元输入信号
• 轴突较长
• 轴突末端有信号传递党员称为突触

在细胞生物学中的神经元结构如下所示

2. 神经网络的学习方法

---

2.1 学习方法

学习方法分为指导学习、无监督学习（无指导学习）和再厉学习

• 指导下学习的网络，网络在可以实际应用之前必须进行训练。训练的过程是把一组输入数据与相应的输出数据输进网络。
• 在无监督学习方式中，输入模式进入网络后，网络按照一预先设定的规则（如竞争规则）自动调整权重，使网络最终具有模式分类等功能。
  • GAN

2.2 学习规则

• Hebb 学习规则

如果处理单元从另一个处理单元接收到一个输入，并且如果两个单元都处于高度活动状态，这时两单元间的连接权重就要被加强。

• Delta ( a ) 学习规则

Delta 规则是最常用的学习规则，其要点是改变单元间的连接权重来减小系统实际输出与应有的输出间的误差。

• 梯度下降学习规则
  • 这是对减小实际输出和应有输出间误差方法的数学说明
• Kohonen 学习规则
  • 该规则是由Teuvo Kohonen在研究生物系统学习的基础上提出的，只用于没有指导下训练的网络。
• 后向传播学习规则
  • 误差的后向传播技术一般采用Delta 规则。此过程涉及两步，第一步是正反馈，当输入数据输入网络，网络从前往后计算每个单元的输出，将每个单元的输出与期望的输出进行比较， 并计算误差。
• 概率式学习规则
  • 从统计力学、分子热力学和概率论中关于系统稳态能量的标准出发，进行神经网络学习的方式称概率式学习。
• 竞争式学习规则
  • 利用不同层间的神经元发生兴奋性连接以及同一层内距离很近的神经元间发生同样的兴奋性连接， 而距离较远的神经无产生抑制性链接
  • 本质在于神经网络中高层次的神经元对低层次神经元的输入模式进行竞争识别。

2.3 BP神经网络

根据网络结构的不同和学习算法的区别， 人丁神经网络可以分为很多种不同的类型，其中后向传播学习的前馈型神经网络( Back Propagation Feed-forward Neural Network, BPFNN/ BPNN)应用最为广泛。

其训练的步骤流程图如下所示：

需要注意的是，这个训练方法和一般的有所不同，这个是使用一个训练案例反复训练多次，然后再迭代到下一个样本

下面是大概的步骤：

1. 初始化网络权重
2. 反向误差传播
3. 网络权重与神经元偏置调整
4. 判断结束

---

3. 进化神经网络

3.1 遇到的问题：

目前， 一般凭设计者主观经验与反复实验挑选ANN 设计所需的工具，
这样不仅使得设计丁作的效率很低，而且还不能保证设计出的网络结构和权重等参数是最优的，从而造成资源的大量浪费和网络的性能低下。

3.2 解决方法

为了解决这个问题，研究者提出了使用进化算法去优化神经网络，通过进化算法和人丁神经网络的结合使得神经网络能够在进化的过程中自适应地调整其连接权重、主网络结构 、学习规则等这些在使用神经网络的时候难以确定的参数，从而形成了进化神经网络( Evolutionary Neural Networks, ENN/ EANN) 。

---

写在最后

各位看官，都看到这里了，麻烦动动手指头给博主来个点赞8，您的支持作者最大的创作动力哟！
才疏学浅，若有纰漏，恳请斧正
本文章仅用于各位作为学习交流之用，不作任何商业用途，若涉及版权问题请速与作者联系，望悉知