一、Logistic回归原理
1、Sigmoid函数作用
Logistic回归的原理是用逻辑函数把线性回归的结果(-∞,+∞)
映射到(0,1)
,下面介绍线性回归函数和逻辑函数。
-
线性回归函数
线性回归函数的数学表达式:
y = θ 0 + θ 1 x 1 + θ 2 x 2 , + … + θ n x n = θ T x y=\theta _{0} +\theta _{1}x _{1}+\theta _{2}x _{2},+…+\theta _{n}x _{n} = \theta^{T} x y=θ0+θ1x1+θ2x2,+…+θnxn=θTx
其中xi
是自变量,y
是因变量,y
的值域为(-∞,+∞)
, θ 0 \theta _{0} θ0是常数项, θ i \theta _{i} θi是待求系数,不同的权重 θ i \theta _{i} θi反映了自变量对因变量不同的贡献程度。
对于一元一次方程:y=a+bx
,这种只包括一个自变量和一个因变量的回归分析称为一元线性回归分析。
对于二元一次方程:y= a+b1x1+b2x2
,三元一次方程:y = a+b1x1+b2x2+b3x3
,这种回归分析中包括两个或两个以上自变量的回归分析,称为多元线性回归分析。
不管是一元线性回归分析还是多元线性回归分析,都是线性回归分析。 -
Sigmoid函数
函数表达式:
g ( z ) = 1 1 + e − z g(z)=\frac{1}{1+e^{-z} } g(z)=1+e