2016年07月__Kevin_Duan_

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创最优化学习笔记（七）——Levenberg-Marquardt修正（牛顿法修正）

上节末尾谈到牛顿法中隐含的另外一个问题在于hessian矩阵可能不是正定的。因此，d(k)=−F(x(k))−1g(x(k)) \boldsymbol{d}^{(k)} = -\boldsymbol{F}(\boldsymbol{x}^{(k)})^{-1}\boldsymbol{g(x^{(k)})} 可能不会是下降方向。Levenberg-Marquardt修正可以解决这个问题，保证每

2016-07-31 23:31:34 6096

原创最优化学习笔记（六）——牛顿法性质分析

一、牛顿法存在的问题在单变量的情况下，如果函数的二阶导数f′′<0f''<0，牛顿法就无法收敛到极小点。类似的，在多变量的情况下，目标函数的hessian矩阵F(x(k))\boldsymbol{F}(\boldsymbol{x}^{(k)})非正定，牛顿法的搜索方向并不一定是目标函数值的下降方向。甚至在某些情况下F(x(k))>0\boldsymbol{F}(\boldsymbol{x}^

2016-07-24 11:38:53 2582

原创最优化学习笔记（六）——牛顿法性质分析

一、牛顿法存在的问题在单变量的情况下，如果函数的二阶导数f′′<0f''<0，牛顿法就无法收敛到极小点。类似的，在多变量的情况下，目标函数的hessian矩阵F(x(k))\boldsymbol{F}(\boldsymbol{x}^{(k)})非正定，牛顿法的搜索方向并不一定是目标函数值的下降方向。甚至在某些情况下F(x(k))>0\boldsymbol{F}(\boldsymbol{x}^

2016-07-24 11:38:35 1352

原创机器学习笔记（十一）——逻辑回归

一、引言虽然说是逻辑回归，其实既可以用它做回归，也可以用它做分类。一般我们从最简单的二分类问题开始了解他，当然也可以做多分类。二、Logistic Regression 的一般步骤找一个合适的假设构造损失函数让损失函数最小，求出对应的参数值三、二分类问题下Logistic Regression的过程3.1 Logistic Function 在机器学习笔记（十）——Logist

2016-07-09 11:38:20 652