本文是学习了周志华老师的《机器学习》书籍后的总结,如有不正确的地方,请帮忙指正,谢谢!
总体来说,机器学习分为监督学习,非监督学习和深度学习。而学习模型大致分为生成式模型和判别式模型。判别式模型估计条件概率分布,而生成式模型则估计它们的联合概率分布。判别式模型可根据生成式模型,通过贝叶斯公式得到,但反之不行。打个不太恰当的比喻,就像根据一句话判断他是英语还是中文,判别式模型是找到两种语言之间的区别进行判断,而生成式模型则学习中文和英语(联合分布)之后再判断。两种模型的详细对比可参考博文http://blog.csdn.net/wolenski/article/details/7985426。
判别式模型主要有:
线性回归
对数几率回归
SVM
线性判别分析
决策树
神经网络
条件随机场CRF
高斯过程
生成式模型:
朴素贝叶斯
贝叶斯网络
K近邻
隐马尔可夫模型
马尔可夫随机场MRF
混合高斯模型
深度信念网络DBN
样本可分为训练样本和测试样本,有些线性可分,有些线性不可分。样本属性有离散和连续之分
样本集区分法:
1,留出法 --一部分作为训练集,一部分作为测试集
2,交叉验证法,分成K个子集,K-1个训练,1个测试
3,自助采样法