DataWhale机器学习——第五章神经网络学习笔记

第五章 神经网络

5.1 神经元模型 神经元是神经网络的基本单位，包括输入、加权、激活函数和输出。常见激活函数有Sigmoid、ReLU和Tanh。

5.2 感知机与多层网络 感知机是一种简单的二分类模型，由输入层、权重和阈值组成。多层网络（MLP）包含输入层、隐藏层和输出层，可以解决非线性问题。

5.3 误差逆传播算法 误差逆传播（Backpropagation）用于训练多层网络，通过计算误差并反向传播，更新各层权重。关键步骤包括：

1. 前向传播：计算网络输出。
2. 计算误差：通过目标值与输出值的差计算误差。
3. 反向传播：从输出层向输入层反向传播误差，更新权重。

5.4 全局最小与局部极小 神经网络的优化过程中可能陷入局部极小值，常用的解决方法包括初始化权重随机化、使用动量和高级优化算法（如Adam）。

5.5 其他常见神经网络 包括卷积神经网络（CNN）、循环神经网络（RNN）和自组织映射（SOM）。每种网络结构针对特定任务和数据类型进行了优化。

5.6 深度学习 深度学习是包含多层网络的神经网络，通过更深层次的网络结构来提高模型的表达能力和泛化性能。常用于图像识别、语音识别和自然语言处理等领域。