有监督机器学习算法整体流程概括

最新推荐文章于 2024-06-25 11:23:15 发布

fkyyly

最新推荐文章于 2024-06-25 11:23:15 发布

阅读量951

点赞数 1

分类专栏：传统机器学习

本文链接：https://blog.csdn.net/fkyyly/article/details/79392940

版权

传统机器学习专栏收录该内容

33 篇文章 4 订阅

订阅专栏

数据：（Xi,yi）其中Xi是向量，y是对应的标注结果

直接学习条件概率分布P(Y|X)或决策函数Y=f(x)的方法为判别方法，对应的模型是判别模型。
感知机、k临近法、决策树、逻辑斯帝回归与最大熵模型、支持向量机、提升方法、条件随机场是判别方法。
首先学习联合概率分布P(X,Y),从而求得条件概率分布P(Y|X)的方法是生成方法，对应的模型是生成模型。

朴素贝叶斯法、隐马尔可夫模型是生成方法。

--------------判别模型------------------------------------------------------------------
1 观察数据选择一个模型函数f(x)，f(x)中的参数w需要依据数据求解,对于复杂的f(x)其中可以嵌套使用激活函数,
2 激活函数
（1）sigmod
（2）relu
（3）tanh
3 构建目标函数即损失函数J(w)，目标函数可能是有约束的，损失函数或者目标函数的类型有多种
（1）最小二乘

（2）hinge loss

http://blog.csdn.net/luo123n/article/details/48878759

（3）交叉觞损失可以理解为负对数似然（数据分布和模型分布的交叉熵）
（4）0-1损失

（5）极大似然（不是损失函数，可以理解为目标函数）

https://blog.csdn.net/fkyyly/article/details/79464111

（6）指数损失（最大熵）

http://blog.csdn.net/shenxiaoming77/article/details/51614601

损失函数的比较（图）

4 对于损失函数可以添加正则化项以简化模型，可看成是一种等式约束
（1）L1
（2）L2
（3）L0

（4）L\inf

https://blog.csdn.net/jinping_shi/article/details/52433975

https://blog.csdn.net/programmer_wei/article/details/52093281

5 对于第三部分的损失函数中包含约束条件的，因此需要将约束利用数学将其放入目标函数中
（1）无约束，直接求导
（2）等式约束，拉格朗日
（3）不等式约束，KKT（凸优化）
min f(x),
s.t. g_i(x) <= 0; i =1, ..., n
h_j(x) = 0; j =1, ..., m
对于含有不等式约束的优化问题，如何求取最优值呢？常用的方法是KKT条件，同样地，把所有的不等式约束、等式约束和目标函数全部写为一个式子L(a, b, x)= f(x) + a*g(x)+b*h(x)，
KKT条件是说最优值必须满足以下条件：
1. L(a, b, x)对x求导为零；
2. h(x) =0;
3. a*g(x) = 0;
求取这三个等式之后就能得到候选最优值。其中第三个式子非常有趣，因为g(x)<=0，如果要满足这个等式，必须a=0或者g(x)=0. 这是SVM的很多重要性质的来源，如支持向量的概念。
https://zhuanlan.zhihu.com/p/26514613
6 优化模型f(x)，即最小化或者最大化目标函数J(w)，求最值的过程就是求解w的过程
（1）单纯形，没用到导数
（2）梯度下降，使用一阶导（迭代更新参数）
（3）牛顿法，使用二阶导

（4）拟牛顿（解决牛顿法求二阶导的计算复杂度过大的问题）

（5）共轭梯度法是介于梯度下降法（最速下降法）与牛顿法之间的一个方法，它仅需利用一阶导数信息，但克服了梯度下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hessian矩阵并求逆的缺点，

http://blog.csdn.net/lmm6895071/article/details/78329045?locationNum=7&fps=1

（6）svm的smo二次规划（解析解）

https://www.cnblogs.com/shixiangwan/p/7532830.html

http://www.cnblogs.com/maybe2030/p/4751804.html

7 以上的模型函数是一层，如果模型函数是嵌套模型的话如f1(f2(X))需要使用反向传播

---------------------------------------------

生成模型：
1 典型模型
朴素贝叶斯
K近邻(KNN)
混合高斯模型
隐马尔科夫模型(HMM)
贝叶斯网络
Sigmoid Belief Networks
马尔科夫随机场(Markov Random Fields)
深度信念网络(DBN)
2 参数学习
对于有监督的通过统计获取模型中需要的各种参数
EM算法（无监督）
参考：
http://blog.sina.com.cn/s/blog_15b0cd33f0102xiau.html
http://www.cnblogs.com/kemaswill/p/3427422.html
http://blog.csdn.net/u013152718/article/details/42490879
http://blog.csdn.net/xx19901314/article/details/52127189