本文总结了261至280道关于人工智能、深度学习和机器学习的面试题，涵盖最优化方法、主成分分析（PCA）、降维的必要性和目的、评估指标、模型评估方法、超参数调优、过拟合与欠拟合等多个关键知识点。文章详细讲解了梯度下降法、牛顿法、拟牛顿法和共轭梯度法等最优化方法，并讨论了PCA在降维中的作用、降维的目的以及防止过拟合和欠拟合的策略。此外，还涉及了A/B测试、模型评估方法如交叉验证、自助法等。
目录
274.KD-Tree相比KNN来进行快速图像特征比对的好处在哪里?
261.常见的几种最优化方法
1. **梯度下降法**
梯度下降法是最早最简单，也是最为常用的最优化方法。梯度下降法实现简单，当目标函数是凸函数时，梯度下降法的解是全局解。一般情况下，其解不保证是全局最优解，梯度下降法的速度也未必是最快的。梯度下降法的优化思想是用当前位置负梯度方向作为搜索方向，因为该方向为当前位置的最快下降方向，所以也被称为是”最速下降法“。最速下降法越接近目标值，步长越小，前进越慢。梯度下降法的搜索迭代示意图如下图所示：
缺点：靠近极小值时收敛速度减慢；直线搜索时可能会产生一些问题；可能会“之字形”地下降。
2. **牛顿法**
牛顿法是一种在实数域和复数域上近似求解方程的方法。方法使用函数f (x)的泰勒级数的前面几项来寻找方程f (x) = 0的根。牛顿法最大的特点就在于
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
