广义线性模型GLM中, y不再只是正态分布,而是扩大为指数族中的任意分布。凡是符合指数族分布的随机变量,都可以用GLM回归分析。
g(x)被称为连接函数,连接函数满足单调可导,比如,Logistic回归中的连接函数为
变量
Logistic函数又叫sigmoid函数,为S型曲线。Logistic回归和Softmax回归类似,两者本质上的不同体现在,Logistic回归对于两类的分类,而softmax则是从两类到三类的过程。
Logistic/sigmoid函数
Logistic回归参数估计
这里运用了极大似然估计的思想。
对数似然函数
参数的迭代
Logistic回归参数的学习规则
(梯度下降的思路来估计参数)
因此可以得到下面的伪算法
对数线性模型
一个事件的几率(odds),是指该事件发生的概率与该事件不发生的概率的比值。
对数几率:logit函数
说明一个事件发生与不发生几率的对数是一个线性模型。Logistic回归是套用了连接函数logistic函数。如果事件发生的概率p>0.5,则,然后通过符号函数sign(logit(p))进行判别分类。