吴恩达：机器学习的六个核心算法详解

来源丨AI科技评论

编辑丨极市平台

最近，吴恩达在其创办的人工智能周讯《The Batch》上更新了一篇博文，总结了机器学习领域多个基础算法的历史溯源。

文章开头，吴恩达回忆他的研究历程中曾有一次抉择：

多年前，在一次项目中，选择算法时，他不得不在神经网络与决策树学习算法之间做选择。考虑到计算预算，他最终选择了神经网络，在很长的一段时间内弃用增强决策树。

这是一个错误的决定，「幸好我的团队很快修改了我的选择，项目才成功。」吴恩达谈道。

他由此感叹，不断学习与更新基础知识是十分重要的。与其他技术领域一样，随着研究人员的增加、研究成果数量的增长，机器学习领域也在不断发展。但有些基础算法与核心思想的贡献是经得起时间考验的：

• 算法：线性和逻辑回归、决策树等
• 概念：正则化、优化损失函数、偏差/方差等

在吴恩达看来，这些算法与概念是许多机器学习模型的核心思想，包括房价预测器、文本-图像生成器（如DALL·E）等。

在最新的这篇文章中，吴恩达与团队调研了六种基础算法的来源、用途、演变等，并提供了较为详细的讲解。

这六种算法分别是：线性回归、逻辑回归、梯度下降、神经网络、决策树与k均值聚类算法。

1线性回归：直的&窄的

线性回归是机器学习中的一个关键的统计方法，但它并非不战而胜。它由两位杰出的数学家提出，但200 年过去了，这个问题仍未解决。长期存在的争议不仅证明了该算法具有出色的实用性，还证明了它的本质十分简单。

那么线性回归到底是谁的算法呢？

1805 年，法国数学家 Adrien-Marie Legendre 发表了将一条线拟合到一组点的方法，同时试图预测彗星的位置（天体导航是当时全球商业中最有价值的科学方向，就像今天的人工智能一样）。

图注：Adrien-Marie Legendre 的素描画像

四年后，24 岁的德国神童 Carl Friedrich Gauss （高斯）坚称他自 1795 年以来一直在使用它，但认为它太琐碎了，无法写。高斯的主张促使Legendre匿名发表了一份文章，称“一位非常著名的几何学家毫不犹豫地采用了这种方法。”

图注：Carl Friedrich Gauss

斜率和偏差：当结果与影响它的变量之间的关系遵循直线时，线性回归很有用。例如，汽车的油耗与其重量成线性关系。

• 汽车的油耗 y 与其重量 x 之间的关系取决于直线的斜率 w（油耗随重量上升的幅度）和偏置项 b（零重量时的油耗）：y=w*x+b。

• 在训练期间，给定汽车的重量，算法会预测预期的油耗。它比较了预期和实际的油耗。然后，它将平方差最小化，通常通过普通最小二乘技术，磨练 w 和 b 的值。
• 考虑汽车的阻力可以生成更精确的预测。附加变量将线延伸到平面。通过这种方式，线性回归可以容纳任意数量的变量/维度。

普及的两个步骤：该算法立即帮助航海者追踪星星，以及帮助后来的生物学家（尤其是查尔斯·达尔文的堂兄Francis Galton）识别植物和动物的可遗传特征。这两项深入发展释放了线性回归的广泛潜力。1922 年，英国统计学家 Ronald Fisher 和 Karl Pearson 展示了线性回归如何适应相关性和分布的一般统计框架，使其在所有科学中都有用。而且，近一个世纪后，计算机的出现提供了数据和处理能力，可以更大程度地利用它。

应对歧义：当然，数据永远不会被完美地衡量，有些变量比其他变量更重要。这些生活事实激发了更复杂的变体。例如，带有正则化的线性回归（也称为「岭回归」，ridg