- 博客(5)
- 收藏
- 关注
RSS订阅转载 梯度下降法实现Logistic回归
参考简书中Logistic回归及Python代码实现。 Logistic函数的损失函数的偏导数为$\frac{1}{m}\sum_{i=1}^{m}(h_\theta(x_i)-y_i)x_i^j$，所以$\theta$的更新可以写为：$\theta_j=\theta_j-\alpha\frac{1}{m}\sum_{i=1}^{m}(h_\theta(x_i)-y_i)x_i^j$，...
2019-08-01 22:18:00
410
转载 跟刘建平博客学机器学习
2016年10月 1.梯度下降（Gradient Descent）小结 对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。沿着梯度向量的方向就是f(x,y)增加最快的地方，容易找到函数的最大值。反过来说，沿着梯度向量相反的方向，梯度减少最快，也就是更加容易找到函数的最小值。 2. 最小二乘法小结 最小二乘法的形式为：$目标函数=\sum(难测值-...
2019-08-01 17:55:00
363
转载 拉格朗日乘子法
1 拉格朗日乘子法基本概念 拉格朗日乘子法是在约束条件$g(x_1,x_2,...)=0$下，计算函数$f(x_1,x_2,...)$极值的方法。 以二元函数为例，约束条件为$g(x,y)=0$，求函数$f(x,y)$的极值，定义一个新的函数$F(x,y,\lambda)=f(x,y)+\lambda g(x,y)$，求此函数的极值。 极值的第一个条件是，函数的偏导为0，即有：$\...
2019-07-31 21:10:00
250
转载 梯度下降学习总结
1.梯度的理解 在机器学习过程中，经常使用梯度下降方法求解损失函数的最小值。梯度的值为函数在某一点，沿着各向量方向的偏导数。沿着梯度相反的方向，函数减小最快，更容易找到函数的最小值。 2.梯度下降法的矩阵表示 函数的表达式为$h_\theta(X)=X\theta$，损失函数的表达式为$J(\theta)=\sum_{i=1}^m(h_\theta(x_i)-y_i)^2$，其矩阵...
2019-07-31 16:26:00
251
转载 为什么常使用梯度下降，很少用最小二乘法
最小二乘法需要计算$X^TX$的逆矩阵，有可能它的逆矩阵不存在。 当样本特征n非常的大的时候，计算$X^TX$的逆矩阵是一个非常耗时的工作（nxn的矩阵求逆），甚至不可行。 如果拟合函数不是线性的，这时无法使用最小二乘法。 其他特殊情况下也不适合使用最小二乘法。 参考刘建平Pinard的最小二乘法总结。 转载于:https://www.cnblogs.com/guess...
2019-07-30 21:15:00
351
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人