笔记:Logistic回归基本原理
app显示公式乱码,请使用浏览器或电脑查看。
1、Bernoulli(亮点分布,0-1分布)
成功变量X取值1,否则取值0。成功概率为 θ θ ,我们称X服从参数为 θ θ 的Bernoulli分布,记作 X~Ber(θ) X ~ B e r ( θ )
- 概率函数(pmf)为:
p(x)=θx(1−θ)1−x={
θ,1−θ,if x=1if x=0 p ( x ) = θ x ( 1 − θ ) 1 − x = { θ , if x = 1 1 − θ , if x = 0
- 均值: μ=θ μ = θ
- 方差: σ2=θ×(1−θ) σ 2 = θ × ( 1 − θ )
2、Logistic回归模型
Logistic回归模型是一个线性模型
- 条件概率:
p(y|x)μ(x)=Ber(y|μ(x))=σ(wTx) p ( y | x ) = B e r ( y | μ ( x ) ) μ ( x ) = σ ( w T x )
- sigmoid函数(S形函数):
σ(a)=11+exp(−a)=exp(a)exp(a)+1 σ ( a ) = 1 1 + e x p ( − a ) = e x p ( a ) e x p ( a ) + 1
- 亦被称为logistic函数或logit函数,将实数a变换到[0, 1]区间
3、神经科学中的Logistic回归
神经元对其输入进行加权和: f(x)=wTx f ( x ) = w T x
在Logistic回归,定义Log Odds Ratio:
LOR(x)=logp(y=1|x,w)p(y=0|x,w)=log[11+exp(−wTx)×1+exp(−wTx)exp(−wTx)]=log[exp(w