机器学习中梯度下降算法的实际应用和技巧/李文哲

当在现实生活中的遇到问题时，我们总是希望找到最佳的解决方案。制造软件产品也是一样的道理，最优化的程序才是最理想的产品。

最优化意味着获得最佳输出。它既是一个数学的重要分支，也在现实生活中有着重要的作用。现代的计算机科学和人工智能科学把最优化作为一个重要的领域来研究。我们也认为人工智能的一些算法，就是模拟了人类寻求实际问题最优解的过程。例如，利用人工智能算法设计软件，配合外部的电子设备例如摄像头识别人脸；利用数据挖掘和神经网络算法来寻找投资的最佳时机等等，都是利用了最优化的原理。

机器学习中的最优化和其他学科的应用比起来有轻微的差异。一般来说，在优化的同时，我们确切地知道数据的外观以及我们想要改进的地方。 但是在机器学习中，我们不知道“新数据”是怎么样的，更别提对其进行优化了。为了解决这个问题，在机器学习中，我们对训练数据（training data）执行优化，并检查由此新创造出的验证数据（validation data）。

最优化的广泛应用

• 机械学：设计航空航天产品的表面；
• 经济学：成本最小化；
• 物理学：量子计算中的优化时间；
• 决定最佳运输路线，货架空间优化等等。

 

许多流行的机器算法都依赖于线性回归，k最近邻，神经网络等技术。优化的应用是无限的，因此它成为了学术界和工业界广泛研究的课题。在本文中，我们将介绍一种称为梯度下降（Gradient Descent）的优化技术。 这是机器学习时最常用的优化技术。

1.什么是梯度下降？

我们来看一下经典的登山示例：假设你在山顶，你必须到达山谷最低点的一个湖。 但是你被蒙住眼睛，看不到你的目标。 那么，你会采取什么方法到达湖边？

最简单的方法是检查你附近的地面，找到土地向下倾斜的方向。 这是你该迈出第一步的方向。 沿着下坡路线一直走，很有可能你会到达湖泊。下图表示你走过的路：