正规方程是除了梯度下降以外求最小值的其他方法
公式如下:
其中X为n*m维的矩阵,n为数据的维度,m为特征向量,y为最后的目标向量。下面为吴恩达老师的一个例子
当n<m时,需要减少特征,或者加入正则化项。
在数据量较少时,正规方程求解速度较快,以为只计算一次,不需要迭代;
当数据量较大时,虽然只进行一次计算,但由于计算复杂度较高,O(n³),速度就会不如梯度下降。
正规方程求最优解
最新推荐文章于 2022-06-24 06:06:56 发布
这篇博客介绍了正规方程作为求解最小化问题的另一种方法,特别是在数据量较少时,正规方程由于只需要一次性计算,速度较快。然而,当数据规模增大,其O(n³)的计算复杂度使其效率低于梯度下降。正规方程在n小于m时可能需要特征选择或正则化。理解正规方程对于理解和优化机器学习模型的训练过程至关重要。
摘要由CSDN通过智能技术生成