本篇将对LR(logistic regression)进行讲解,主要从以下几个方面展开:
- LR的两种等价表示形式
- LR与线性回归
- LR与最大似然
- LR与最大后验
- LR参数求解
LR的两种等价表示形式
LR是一个线性二分类的概率模型,表示为,
简化表示,记
当用0/1表示C1和C2时,其对应的概率表示为:
当用-1/1表示C1和C2时,其对应的概率表示为:
显然上述两种概率表示是相等的,只不过对y的表示不同而已。
LR与线性回归
由前面可知,,等式右边也就是对数几率;所以LR也可以看做线性回归,只不过其回归的目标是对数几率。
LR与最大似然
似然估计是一种假设未知参数为常量的参数估计方法,其目标是估计出未知参数使得观测样本出现的概率最大,通常为了求解方便进行了取对数,
求最大似然,即求最小损失L
损失L分别对W、b求导:
、
LR与最大后验
后验估计是一种假设未知参数为随机变量的参数估计方法,其目标是使得观测样本下出现特定参数的概率最大,同样为了求解方便进行取对数,
最大后验概率,即最小损失L
当参数的先验概率服从拉普拉斯分布时,
,即似然损失+L1正则
通常对b不做正则约束,损失L分别对W、b求导:
、
当参数的先验概率服从高斯分布时,
,即似然损失+L2正则
通常对b不做正则约束,损失L分别对W、b求导:
、
参数求解
根据上面得出的损失对参数的梯度,使用梯度下降法迭代求解即可。