机器学习-吃瓜教程（西瓜书+南瓜书）-神经网络

datawhale-吃瓜教程-神经网络

Task01：概览西瓜书+南瓜书第1、2章
Task02：详读西瓜书+南瓜书第3章
Task03：详读西瓜书+南瓜书第4章
Task04：详读西瓜书+南瓜书第5章
Task05：详读西瓜书+南瓜书第6章

---

---

基本形式

在M-P神经元模型中，神经元接收到来自 n个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接( connection)进行传递，神经元接收到的总输入值将与神经元 的阀值进行比较，然后通过"激活函数" (activation function) 处理以产生神经元的输出.

---

一、术语及符号解释

神经网络:由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应.机器学习 中谈论神经网络时指 的是"神经网络学习 " 或者说，是机器学习与神经网络这两个学科领域的交叉部分 .
感知机：感知 机(Perceptron) 由两层 神经元组成， 如图 5.3 所示，输入层接收外
界输入信号后传递给输出层， 输出 层是 M-P 神 经元，亦称"阔值逻辑单元" (threshold logic unit)。能容易的实现逻辑与或非操作，但不能解决简单的异或运算。
多层前馈神经网路：有一层或多层隐含层，隐含层和输出层神经元都是具有激活函数的神经元。每层神经元与下一层神经元全互连，神经元之间不存在同层连接，也不存在跨层连接. 输入层神经元仅是接受输入，不进行函数处理，隐居与输出层包含功能神经元.经网络的学习过程，就是根据训练数据来调整神经元之间的"连接权" (connection weight) 以及每个功能神经元的阑值。
误差逆传播算法：基于梯度下降策略，以目标的的负梯度方向对参数进行调整。
全局最小与局部最小：局部极小解是参数空间中的某个点，其邻域点的误差函数值均不小于该点的函数值;全局最小解则是指参数空间中所有点的误差函数值均不小于该点的误差函数值.
跳出局部最小策略：

• 多组不同参数值初始化多个神经网路，按标准方法训练后，取其中误差最小的解作为最终参数.
• 使用 “模拟退火” (simulated annealing) 技术 [Aarts and Korst, 1989].模拟退火在每一步都 以二定的概率接受 比当前解更差的结果，从而有助于 "跳出"局部极小 . 在每步i主代过程中，接受"次优解"的概率要随着时间的推移而逐渐降低 ，从而保证算法稳定 .
• 使用随机梯度下 降.与标准梯度下降法精确计算梯度不 同，随机梯度下降法在计算梯度时加入了随机因素.于是，即便陷入局部极小点。它计算出的梯度仍可能不为零，这样就有机会跳出局部极小继续搜索 .

RBF网络：RBF(Radial Basis Function，径向基函数)网络是一种单隐层前馈神经网络，它使用径向基函数作为隐层神经元激活函数，而输出层则是对隐层神经元输出的线性组合.
竞争型学习：神经网络中一种常用的无监督学习策略，在使用该策略时，网络的输出神经元相互竞争，每一时刻仅有一个竞争获胜的神经元被撤活，其他神经元的状态被抑制.这种机制亦称"胜者通吃" (winner-take-all) 原则.
SOM网络：SOM(Self-Organizing Map，自组织映射)网络是一种竞争学习型的无监督神经网络，它能将高维输入数据映射到低维空间(通常为二维) ，同时保持输入数据在高维空间的拓扑结构，即将高维空间中相似的样本点映射到网络输出层中的邻近神经。
Elman网络：它的结构与多层前馈网络很相似，但隐层神经元的输出被反馈回来，与下一时刻输入层神经元提供的信号一起，作为隐层神经元在下一时刻的输入，隐层神经元通常采用 Sigmoid 激活函数，而网络的训练则常通过推广的 BP算法进行。

二、公式推导

总结

通过生物神经网络的启发，在神经网络中，对神经元采用激活函数进行非线性转换和抑制激活处理，实现了更加精准的拟合样本数据。对于复杂的数据分析运算，可以采用加大神经网络层数来进行较复杂的拟合，同时随着网络层数的增加，可能产生过拟合风险，采用更大的数据集往往是一个有利无害的措施，其它的方法比如退火法、早停、正则化方法也能进行很好的避免。
神经网络的黑盒模型虽然带来了很多未知问题，但同样的在黑盒中灵活巧妙的一些操作可能会带来更大的惊喜和意外，机器学习的快速发展需要我们大胆的想象，严谨的求证，扎实的基础，方能在机器学习道路上越走越远。

参考文献：
周志华．机器学习[M]．北京：清华大学出版社，2016.01
谢文睿 / 秦州. 机器学习公式详解. 北京：人民邮电出版社，2021.03.