逻辑回归是一种预测模型，通过线性回归逼近真实标记的对数概率。本文介绍了逻辑回归的公式、损失函数以及使用梯度下降进行参数优化的方法。在训练中，若特征间存在强相关性，可能导致模型参数未收敛，影响训练时间。
逻辑回归
逻辑回归公式：
f ( x i ) = 1 1 + e − ( w x i + b ) f(x_i)=\frac{1}{1+e^{-(wx_i+b)}} f(xi)=1+e−(wxi+b)1
逻辑回归实际上是用线性回归的结果去逼近真实标记的对数概率 l n y 1 − y = w x + b ln\frac{y}{1-y}=wx+b ln1−yy=wx+b，所以逻辑回归又叫对数概率回归。
假设有n个样本点： ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x n , y n ) (x_1,y_1),(x_2,y_2),...,(x_n,y_n) (x1,y1),(x2,y2),...,(xn,yn)，逻辑回归就是去寻找参数w和b，使得这些样本点出现的概率最大。用最大似然估计来描述就是
m a x w , b ∏ i n f ( x i ) y i ( 1 − f ( x i ) 1 − y i ) = m a x ∏ i n ( 1 1 + e − ( w x i + b ) ) y i ( 1 − 1 1 + e − ( w x i + b ) ) 1 − y i max_{w,b}\prod_i^n{f(x_i)^{y_i}(1-f(x_i)^{1-y_i})}=max\prod_i^n{(\frac{1}{1+e^{-(wx_i+b)}})^{y_i}(1-\frac{1}{1+e^{-(wx_i+b)}})^{1-y_i}} maxw,bi∏nf(xi)yi(1−f(xi)1−yi)=maxi∏n(1+e−(wxi+b)1)yi(1−
最低0.47元/天 解锁文章
扫一扫
4万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
