Logistic Regression
logistic回归是统计学习中的经典分类方法,他属于对数线性模型,logistic回归来源于logistic分布,先从logistic分布说起
Logistic distribution
设X是连续随机变量,X服从logistic分布,其分布函数和概率密度函数如下:
分布函数
其中,μ为位置参数,s为形状参数
分布函数即为通常所说的logistic函数,其图像关于(μ,0.5)对称,满足:
F(-x+μ)+F(x-μ)=1
曲线在中心附近增长速度较快,在两端增长速度较慢.(这个特性将使得使用梯度下降优化模型时,可以对误分样本快速调整)
形状参数s的值越小,曲线在中心附近增长得越快
概率密度函数
其中,μ为位置参数,s为形状参数