监督学习分为几大类:判别模型VS生成模型,概率模型VS非概率模型,参数模型VS非参数模型;经典机器学习模型:线性回归模型,逻辑回归模型,SVM,LDA,聚类,决策树,CRF,Markov Chain,NB
1.判别模型VS生成模型
- 判别模型
直接对条件概率分布P(y|x)进行建模或者对输入空间到输出空间的映射h(x)做预测
常见模型:最大熵模型,逻辑回归,条件随机场,支持向量机,k近邻,神经网络
- 生成模型
先对联合概率分布P(y,x)进行建模,然后利用贝叶斯公式再得出条件概率分布P(y|x)
常见模型:朴素贝叶斯,贝叶斯网,pLSA,LDA,隐马尔可夫模型
2.概率模型VS非概率模型
- 非概率模型
直接对输入空间到输出空间的映射h(x)做预测,学习策略经验误差最小化ERM
常见模型:SVM,KNN,决策树,
- 概率模型
对条件概率P(y|x)进行预测,常用的参数估计极大似然估计MLE和极大后验概率估计(MAP)
常见模型:最大熵模型,逻辑回归模型,GMM,NB,CRF,隐马尔可夫模型,pLSA,LDA
3.参数模型VS非参数模型
参数指数据分布的参数,任何一个模型的建立都基于一定的假设。
- 参数模型
对数据分布有假设
常见模型:GMM,线性回归,HMM
- 非参数模型
对数据分布假设自由
常见模型:SVM,决策树,KNN