qq_40570795的博客

1 优化问题分类优化问题一般可分为两大类：无约束优化问题和约束优化问题，约束优化问题又可分为含等式约束优化问题和含不等式约束优化问题。无约束优化问题 含等式约束的优化问题 含不等式约束的优化问题2 求解策略针对以上三种情形，各有不同的处理策略： 无约束的优化问题：可直接对其求导，并使其为0，这样便能得到最终的最优解；含等式约束的优化问题：主要通过拉格朗日乘数法将含等式约束的优化问题转换成为无约束

一般的梯度下降算法的收敛速率为 o(1/t).1.简介:加速梯度算法(AGD)是梯度算法(GD)的一个改进的版本。Nesterov 在1983年首次提出。人们已经证明AGD算法是所有基于梯度算法（或者说一阶）算法中最好的方法。然而原始的AGD算法仅能处理光滑的凸优化问题。最新的进展是，将AGD扩展到了更广泛类型的凸优化问题： minxf(x)+g(x) 其中f(x)是闭凸函数。同样可以获得相似

刚刚看完斯坦福大学机器学习第四讲（牛顿法），也对学习过程做一次总结吧。一、误差准则函数与随机梯度下降：数学一点将就是，对于给定的一个点集（X，Y），找到一条曲线或者曲面，对其进行拟合之。同时称X中的变量为特征（Feature)，Y值为预测值。如图：一个典型的机器学习的过程，首先给出一组输入数据X，我们的算法会通过一系列的过程得到一个估计的函数，这个函数有能力对没有见过的新数据给出一个新的估计Y，也被