神经进化实践：用遗传算法替代反向传播优化神经网络

0. 前言

神经进化涵盖了所有用于改进深度学习的进化算法。更具体地说，神经进化用来定义应用于深度学习的特定优化模式。我们已经学习了如何将进化算法应用于超参数优化，并使用 Numpy 实现多层感知器 (multi-layer perceptron, MLP) 模型，接下来，我们使用遗传算法进行模型优化。

1. 神经进化

神经进化包括超参数优化、参数优化(权重/参数搜索)和网络优化技术。在本节中，我们将深入探讨如何应用进化方法来直接优化网络参数，从而消除通过网络进行的损失反向传播。
神经进化通常用于改进单个深度学习网络模型，也存在其他将进化应用于深度学习的方法，可以扩大搜索范围到多个模型。

2. 使用遗传算法作为深度学习优化器

在本节中，我们将多层感知器 (multi-layer perceptron, MLP) 模型中使用的深度学习 (Deep learning, DL) 优化方法从反向传播替换为神经进化优化