算法基础
xiuxiuxiulai
听说这个发型更容易拿到offer
展开
-
初识梯度下降
采用数值计算极值的基础思想:选择一个初始点,计算该点的导数,然后通过导数和步长推进到下一个点,直到两个点之差很小为止(达到收敛条件)。以函数 y = x**2 + x 为例:选定一个初始值,例如X0=2计算在该点的导数,f’(X0)=6按照下列公式调整 x 的新值: X1 = X0 - αf’(X0)▪ α称为步进系数,用来控制步长大小。例如设置为0.1, 0.001等▪ f’(...原创 2019-09-05 08:43:34 · 94 阅读 · 0 评论 -
随机梯度下降算法(SGD)
何为随机梯度下降?在scikit-learn官方文档中有着这样的定义:是一种简单但又非常高效的方法,主要用于凸损失函数下线性分类器的判别式学习,例如(线性) 支持向量机 和 Logistic 回归。在百度百科中对梯度下降法的解释:梯度下降法(英语:Gradient descent)是一个一阶最优化算法,通常也称为最速下降法。 要使用梯度下降法找到一个函数的局部极小值,必须向函数上当前点对应梯度...原创 2019-10-11 09:14:02 · 2693 阅读 · 0 评论