多分类逻辑回归与softmax回归

二分类logistic回归及其优化算法

设$y$是0-1型变量，$x_1$，$x_2$，$\dots$，$x_p$是与$y$相关的确定性变量，$n$组观测数据为($x_{i1},x_{i2},\dots ,x_{ip};y_i$)，其中，$y_i$的取值是0或者1的随机变量，则$y_i$的条件概率为：
$$\begin{gathered} p(y=1|X)=\frac{exp(\beta X)}{1+exp(\beta X)} \\ p(y=0|X)=\frac{1}{1+exp(\beta X)} \end{gathered}$$
即
$$\ln \frac{p(y=1|X)}{1-p(y=1|X)}=\beta X$$
y i y_i