判别模型、生成模型与贝叶斯方法

一、判别模型与生成模型

     判别模型:用特征值来求结果的概率,形式化表示为,在参数确定的情况下,求解条件概率。通俗的解释为在给定的特征后预测结果出现的概率。

     生成模型:   或p(y)

 - 生成模型:无穷样本==》概率密度模型 = 产生模型==》提取特征,预测(求条件概率)

 - 判别模型:有限样本==》判别函数 = 预测模型==》提取特征,求概率大小(求联合概率)

常见的判别模型:线性回归、对数回归、线性判别分析、支持向量机、Boosting、条件随机场、神经网络等

常见的生成模型:隐马尔可夫模型、朴素贝叶斯模型、LDA、restricted、Boltzmann Machine

详情见:判别模型与生成模型详解

二、高斯判别分析(Gaussian discriminsnt analysis GDA)

如果输入特征是连续型随机变量,那么可以使用高斯判别模型来确定。(GDA可以完成特征值分类)

                       

其中:fai是训练样本中结果y=1占有的比例,miu0是y=0的样本中特征均值,miu1是y=1的样本中特征均值,Sigma是样本特征方差均值。

注:形式上类似于逻辑回归,但是GDA的假设条件和约束更强,逻辑回归应用效果更强。(训练数据满足多元高斯分布,GDA才能在训练集上训练出好的模型。但我们往往不知道训练集满足什么样的分布,所以采用逻辑回归的方法。)

三、朴素贝叶斯模型

GDA中特征向量x是连续实数向量,如果x是离散值的情况下,采用朴素贝叶斯的分类方法。

朴素贝叶斯假设:假设x中的特征是条件独立的。

注:独立假设(在给定z的情况下,x和y条件独立



朴素贝叶斯模型:   (注:联合概率,生成模型)

朴素贝叶斯方法有一个致命的缺点就是对数据稀疏问题过于敏感。所以有了拉普拉斯平滑。

拉普拉斯平滑:分子+1,分母+k。(k是离散型随机变量对应k个值,也就是观察值对应k个值)





已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页