独家 | 数据科学家指南：梯度下降与反向传播算法

作者：Richmond Alake 
翻译：陈之炎
校对：zrx


本文约3300字，建议阅读5分钟
本文旨在为数据科学家提供一些基础知识，以理解在训练神经网络时所需调用的底层函数和方法。

标签：神经网络，梯度下降，反向传播

人工神经网络[ANN)是人工智能技术的基础，同时也是机器学习模型的基础。它们模拟人类大脑的学习过程，赋予机器完成特定类人任务的能力。

数据科学家的目标是利用公开数据来解决商业问题。通常，利用机器学习算法来识别模式，用算法模型实现预测。如何为特定的用例选择正确的模型，并适当地调整参数？这需要对问题和底层算法有清晰的理解，即充分理解问题和算法，确保使用正确模型，并正确解释结果。

本文介绍并解释了梯度下降算法和反向传播算法。人工神经网络利用这些算法学习数据集，当神经网络中数据发生变化时，应如何去修正网络参数。

建立直觉

在深入探讨技术细节之前，首先来看看人类如何学习。

人类大脑的学习过程是复杂的，当前的研究工作只涉及到人类学习方式的表像。然而，已知的研究结果对构建模型非常有价值，与机器不同，在做逻辑预测时，人类无需借助大量的数据来解决问题，人们直接从经验和错误中吸取教训。

人类通过突触可塑性的过程来学习，突触可塑性是一个术语，用来描述在获得新的信息后，如何形成和加强新的神经连接。当人类经历新事件时，大脑中的连接会加强，通过训练人工神经网络，计算出预测的错误率，在此基础上来决策是加强或削弱神经元之间的内部连接。

梯度下降

梯度下降算法是一种标准的优化算法，通常，它是机器学习优化算法的首选算法。首先，来剖析一下术语“梯度下降”，以更好地理解它与机器学习算法之间的关系。

梯度是直线或曲线陡峭程度的量化度量，