二分搜索:指数收敛(收敛得很快)
牛顿法的核心思想是泰勒展开,一阶逼近是二分搜索,二阶逼近是牛顿法。
牛顿迭代法:我们设方程函数f(x)=m,改方程可以转化为g(x) = f(x) - m = 0 我们只需要求出函数g(x) = 0的解,就可以求出f(x) = m的解。
核心思想:用泰勒展开逼近,获得更多的信息,收敛的也就越快。
二次规划:已知某一凸问题的二阶导数,求最优解
整个二次规划都脱离不开泰勒展开。
动态规划
二次规划(牛顿法)
组合优化问题:是目前百度 Apollo 的 EM 算法的核心思想。其中用到最重要的思想时divide and conquer/启发式搜索。
启发式搜索:
- 通过动态规划/撒点,对问题有一个粗浅的认识
- 从一个最低点出发,作为牛顿迭代的起始点(二次规划)
二次规划问题,写成如下式子:
KKT:可以用来求解QP问题
对二次规划参考的两本书: