凸优化等--机器学习数学知识等

总结：

①数学知识：

非约束优化：梯度下降，牛顿法；

                     （https://blog.csdn.net/baidu_26408419/article/details/82787740）

等式约束：     1.非严格满足等式约束：自己设定惩罚函数系数大小。

                        （https://blog.csdn.net/baidu_26408419/article/details/77895957）

                      2.严格满足等式约束：拉格朗日乘子法。

不等式约束：  1.只要满足KKT条件(Karush–Kuhn–Tucker conditions)，依然可以使用拉格朗日乘子法解决

                      （https://juejin.im/post/5ac196686fb9a028ca531ed0

                        https://blog.csdn.net/xianlingmao/article/details/7919597）

                       2.内点法

除了以上的数值优化知识，数值优化问题还可以借助于蚁群算法，遗传算法等智能方法。

②工具：

1.（不论是非约束或者带约束的问题，都可以借助matlab函数解决：

https://blog.csdn.net/baidu_26408419/article/details/78753109）

 

                    

1.凸优化，机器学习基础博客以及资料：

①凸优化基础知识+mesh Deformation:

http://blog.csdn.net/thystar/article/details/51469469

http://blog.csdn.net/baidu_26408419/article/details/77895957

②

递归（动态规划）解决问题的应用方向(就是什么情况下用递归)+启发式优化算法（例如蚁群算法，遗传算法）+机器学习（凸优化）基础

 

http://blog.csdn.net/baidu_26408419/article/details/54447019

③

matlab求解非线性约束，线性规划等优化问题

《matlab优化算法》--张岩 吴水根。     讲了matlab优化的api以及具体不同算法的matlab实现,数学以及代码实战，不错。

http://blog.csdn.net/lishoubox/article/details/49382425  --matlab 有约束与无约束优化求解 optimization

http://blog.csdn.net/baidu_26408419/article/details/78753109   --matlab优化求解综述

http://blog.csdn.net/baidu_26408419/article/details/53981710   --matlab优化求解在colormap实战

 

2.好的数学知识书籍资料：

①《机器学习》周志华 （里面的线性回归以及SVM等，优化问题数学原理以及实战，讲的很不错），链接：https://pan.baidu.com/s/1c3aJEhi 密码：ng08

②凸优化经典书籍《Convex Optimization》（2004，Boyd等著），（以及中译版本）百度云免费下载：   链接：https://pan.baidu.com/s/1geOJOqR 密码：ibfr

③矩阵分析与应用（第二版）--张贤达 。       尤其是里面的（带不等式及等式约束的）凸优化（拉格朗日法，牛顿法，内点法等）（迭代求解思想，化有约束为无约束的化繁为简的思想）；超定，欠定，普通方程组等求解方法

链接：https://pan.baidu.com/s/1c4hL1BU 密码：hp7g

④数值优化，高等数学，线性代数，概率论，离散数学等基础数学

（EM算法以及SMO算法：http://blog.csdn.net/baidu_26408419/article/details/79257494）