《Python星球日记》第52天：反向传播与优化器-CSDN博客

本文链接：https://blog.csdn.net/qq_51646682/article/details/147857217

名人说：路漫漫其修远兮，吾将上下而求索。—— 屈原《离骚》
创作者：Code_流苏(CSDN)（一个喜欢古诗词和编程的Coder😊）

目录

一、引言

二、反向传播算法原理简述

1. 什么是反向传播？

2. 从数学角度理解反向传播

3. 反向传播的计算效率

三、梯度下降法回顾与改进

1. 标准梯度下降法（BGD）

2. 随机梯度下降（SGD）

3. 小批量梯度下降（Mini-batch SGD）

4. 优化算法的进阶版本

(1) 动量法 (Momentum)

(2) RMSProp

(3) Adam优化器

四、损失函数详解

1. 损失函数的作用

2. 均方误差损失（MSE）

3. 交叉熵损失（Cross Entropy）

4. 损失函数选择指南

五、权重初始化与正则化

1. 权重初始化的重要性

2. 常见的初始化方法

(1) 零初始化

(2) 随机初始化

(3) Xavier/Glorot初始化

(4) He初始化

3. 正则化技术

(1) L1正则化（Lasso）

(2) L2正则化（Ridge）

六、代码练习：手动实现前向传播与梯度下降过程

1. 简单神经网络结构定义

2. 前向传播实现

3. 计算损失函数

4. 反向传播实现

5. 使用梯度下降更新参数

6. 训练神经网络

7. 完整示例：训练XOR问题

8. 改进版本：加入动量优化器

9. 分析反向传播过程的关键点

七、总结与进阶方向

1. 今日要点回顾

2. 进阶学习方向

3. 实践建议

👋 专栏介绍： Python星球日记专栏介绍（持续更新ing）
✅ 上一篇：《Python星球日记》第51天：神经网络基础