weixin_44336910的博客

原创 #机器学习/梯度下降（Gradient Descent）

在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。 1.梯度 众所周知，在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。在向量微积分中，梯度（gradient）是一种关于多元导数的概括。平常的一元（单变量）函数的导数是标...