对数线性模型:逻辑斯谛回归和最大熵模型

概率图模型PMG 同时被 3 个专栏收录
26 篇文章 4 订阅

http://blog.csdn.net/pipisorry/article/details/52788947

对数线性模型log linear model

对数线性模型有:最大熵模型和逻辑斯谛回归。

特征和指示特征

对数线性模型的一般形式

[概率图模型原理与技术]

某小皮

 

 

对数线性模型的不同形式

因子图

将因子转换到对数空间,成为对数线性模型。

[PGM:无向图模型:马尔可夫网 :对数线性模型]

 

 

最大熵模型

 

[最大熵模型The Maximum Entropy:模型] [最大熵模型:学习]

 

 

逻辑斯谛回归Logistic Regression

多类分类的LR模型生成的推导:(两类分类更简单,直接类比嘛)

lz:这里ak是对数表示的,而给定类条件概率密度p(x|ck)如高斯分布时,ak是通常是线性表示的,所以才叫对数线性模型吧。

因为ak通常可以使用线性表示,所以多类LR模型使用判别式直接定义成:

lz: 就是把一般形式中的feature特征fi(Di)定义为ak了。

LR模型的导出

lz也不知道LR模型怎么来的,不过lz总结了几种都可以解释的方面:

1 回归模型+logistic函数直接得到

2 最大熵模型的特例,即直接将特征f(x, y)设为X=x(即在所有X=x的值上搞一个权重w)。

3 广义线性模型导出[对数线性模型之一(逻辑回归), 广义线性模型学习总结]

4 生成式模型+高斯形式的类条件概率分布得到

from: http://blog.csdn.net/pipisorry/article/details/52788947

ref:

 

  • 2
    点赞
  • 0
    评论
  • 2
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值