DataWhale吃瓜第五章学习——神经网络

第五章：神经网络

5.1 神经元模型

定义与历史背景

• “人工神经网络”是由T.Kohonen在1988年首次定义，用于模拟生物神经系统的交互反应。

• McCulloch和Pitts于1943年提出了M-P神经元模型，这是一个至今广泛使用的数学模型，用于描述生物神经网络中神经元的行为。

基本组成与功能

• 神经网络的基本单元是“神经元”，每个神经元与其他神经元通过带权重的连接相连。

• 当某个神经元的电位超过阈值时，它将被激活并向其他神经元发送信号。这种机制在生物学上称为化学信号传递。

5.2 感知机与多层网络

感知机

• 感知机由两层神经元组成，输入层接收外界输入信号后传递给输出层。

• 感知机能实现逻辑与、或、非运算，但学习能力有限，仅适用于线性可分问题。

多层前馈神经网络

• 多层网络比单层感知机具有更强的学习能力，可以解决非线性可分问题。

• 常见的多层前馈网络结构包括输入层、隐层和输出层，每层神经元全互连，无同层或跨层连接。

5.3 误差逆传播算法（BP算法）

工作原理

• BP算法是一种迭代学习算法，通过计算输出层的误差并逆向传播至隐层来调整参数。

• 每次更新针对单个训练样例进行，目标是最小化训练集上的累积误差。

5.4 全局最小与局部极小

概念解析

• 局部极小：存在一组参数使得其邻域内的所有点都有更高的函数值。

• 全局最小：参数空间中所有点的函数值都低于该点的值。

• 梯度下降策略：通过计算误差函数在当前点的梯度并沿着负梯度方向搜索最优解。

5.5 其他常见神经网络

• RBF网络：使用径向基函数作为隐层激活函数，能以任意精度逼近任意连续函数。

• ART网络：采用竞争型学习策略，允许增量学习和在线学习。

• SOM网络：自组织映射网络，将高维数据映射到低维空间同时保持拓扑结构。

• 级联相关网络：结构自适应网络，通过动态增加隐层神经元来优化网络结构。

• Elman网络和Boltzmann机：分别处理时间序列数据和基于能量的模型训练。

5.6 深度学习概述

• 概念与应用：深度学习是一类复杂的多隐层神经网络模型，如深度信念网络（DBN）和卷积神经网络（CNN）。这些模型能够完成复杂的分类任务，通常应用于图像识别、语音识别等领域。