机器学习常用十大算法总结

一、线性回归

1、定义

2、损失函数

https://blog.csdn.net/qq_32172681/article/details/98056941

 

二、逻辑回归LR

1、定义

2、为什么使用sigmoid https://blog.csdn.net/qq_32172681/article/details/101080628

3、极大似然估计（估计参数）https://blog.csdn.net/qq_32172681/article/details/98037944

4、损失函数的推导

5、求解损失函数（理解梯度下降）

https://blog.csdn.net/qq_32172681/article/details/98056941

 

三、支持向量机SVM

1、定义

2、为什么要求最大间隔

3、如何计算最大间隔（拉格朗日乘子法）

4、非线性支持向量机和核函数

5、软间隔问题与松弛变量

6、SVM损失函数Hinge Loss

7、SMO算法求解拉格朗日对偶问题

8、KKT条件（SMO算法的变量选择时需要满足KKT条件）https://blog.csdn.net/qq_32172681/article/details/97928241

https://blog.csdn.net/qq_32172681/article/details/98082363

 

四、贝叶斯算法

1、贝叶斯公式 https://blog.csdn.net/qq_32172681/article/details/98032205

2、朴素贝叶斯算法（高斯）https://blog.csdn.net/qq_32172681/article/details/101112211

3、半朴素贝叶斯算法（spode/TAN）https://blog.csdn.net/qq_32172681/article/details/101113646

4、贝叶斯网络 https://blog.csdn.net/qq_32172681/article/details/101114582

5、EM算法（高斯混合模型）https://blog.csdn.net/qq_32172681/article/details/101120994

 

五、决策树

1、定义

2、特征选择

3、信息论知识：熵、条件熵、信息增益、信息增益比、Gini系数

4、决策树生成：ID3、C4.5、CART算法

5、回归树

6、剪枝

https://blog.csdn.net/qq_32172681/article/details/98470966

 

六、集成学习

1、概念

2、Bagging（随机森林）

3、Boosting（AdaBoost、GBDT、xgboost https://blog.csdn.net/qq_32172681/article/details/101168474）

4、Bagging和Boosting区别

https://blog.csdn.net/qq_32172681/article/details/98470391

 

七、聚类算法

K-means 聚类

https://blog.csdn.net/qq_32172681/article/details/99464656

 

八、K近邻算法

https://blog.csdn.net/qq_32172681/article/details/100067059

 

九、降维

1、基于特征值分解协方差矩阵实现PCA降维 https://blog.csdn.net/qq_32172681/article/details/97917956

2、基于截断奇异值分解SVD协方差矩阵实现PCA降维 https://blog.csdn.net/qq_32172681/article/details/99191092

 

十、概率图模型

1、马尔可夫模型

2、隐马尔可夫模型

3、马尔可夫决策过程MDP

https://blog.csdn.net/qq_32172681/article/details/100064690

 

十一、强化学习