AI（003） - 笔记 - 第二周 - Logistic回归基本原理

笔记：Logistic回归基本原理

app显示公式乱码，请使用浏览器或电脑查看。

---

1、Bernoulli(亮点分布，0-1分布)

成功变量X取值1，否则取值0。成功概率为$\theta$，我们称X服从参数为$\theta$的Bernoulli分布，记作$X \text{～} Ber(\theta)$

• 概率函数(pmf)为：

$$p(x) = \theta^x (1 - \theta)^{1 - x} = \begin{cases} \theta, & \text{if $x = 1$} \\ 1 - \theta, & \text{if $x = 0$} \end{cases}$$

• 均值：$\mu = \theta$
• 方差：$\sigma^2 = \theta \times (1 - \theta)$

2、Logistic回归模型

Logistic回归模型是一个线性模型

• 条件概率：

$$\begin{array}{ll} p(y|{\bf x}) &= Ber(y|\mu ({\bf x})) \\[2ex] \mu({\bf x}) &= \sigma({\bf w^T x}) \end{array}$$

• sigmoid函数（S形函数）：

$$\sigma(a) = \frac{1}{1 + exp(-a)} = \frac{exp(a)}{exp(a) + 1}$$

• 亦被称为logistic函数或logit函数，将实数a变换到[0, 1]区间

3、神经科学中的Logistic回归

• 神经元对其输入进行加权和：$\bf f(x) = w^T x$

• 在Logistic回归，定义Log Odds Ratio:

LOR(x)=logp(y=1|x,w)p(y=0|x,w)=log[11+exp(−wTx)×1+exp(−wTx)exp(−wTx)]=log[e