机器学习笔记 - 用Python实现易于理解的反向传播

介绍
在机器学习中，反向传播是一种用于训练神经网络的常见算法。它通过计算损失函数对网络参数的梯度，然后使用梯度下降法来更新参数，从而使网络能够逐步优化。本文将介绍如何用Python实现一个易于理解的反向传播算法，并提供相应的源代码。

前提知识
在理解本文之前，你需要对神经网络的基本概念有一定的了解。你应该知道神经网络由多个层组成，每个层由多个神经元构成。每个神经元都有权重和偏置，它们是网络的参数。此外，你还需要了解一些基本的线性代数和微积分知识。

实现步骤

1. 导入所需的库
   我们首先需要导入一些常用的Python库，包括NumPy用于数值计算和矩阵操作。你可以使用以下代码导入这些库：

import numpy as np

2. 定义网络结构
   接下来，我们需要定义神经网络的结构。我们将使用一个简单的三层全连接网络作为示例。该网络具有一个输入层、一个隐藏层和一个输出层。每个层由多个神经元组成。我们需要定义每个层的大小和激活函数。下面是一个示例的网络结构：

input_size