我们都知道logistic回归,softmax回归,线性回归,他们看上去不一样但是他们都属于广义线性模型【Generalized Linear Mode】。这篇博客就来介绍他们。要介绍广义线性模型前,首先介绍指数分布族。
一、指数分布族【The exponential family】
指数分布族具有如下形式:
下面是对指数分布族的一些理解:
下面列出怎么求解参数
二、最大熵的角度理解指数分布族:
2.1、熵的定义
假设离散随机变量X的概率分布是P(X),其熵为
2.2、最大熵原理
最大熵原理认为,学习概率模型时,在所有的概率模型中,熵最大的模型是最好的模型。在满足约束条件下,如果没有更多的信息,则那些不确定的部分概率相等时熵最大。
举一个没有已知分布约束条件下的例子。假设随机变量X有5个取值{A,B,C,D,E},要估计各个值的概P(A),P(B),P(C),P(D),
P(E).这些概率值相加为1,则他们的概率值都是五分之一。下面给出证明:
上面给出了没有任何已知条件下,各个概率相等的条件下,熵最大。下面给出了有已知条件下,最大熵模型的求解。
三、高斯分布的指数形式
本来想写成广义线性模型来,可是看了好久的笔记,不知道怎么把这一部分写出来,这个先放下,等以后有时间的时候,在写成广义线性模型。
参考资料:1>机器学习-白板推导系列-指数分布族
2>CS229机器学习课件
3>李航-统计机器学习