Logistic回归和Softmax回归理解

1. Logistic与Softmax简述

谈到Logistic回归首先谈到便是逻辑思谛分布，其概率分布如下图所示：

可以看出该分布函数是一条S形曲线，曲线以点(0,12)(0,12)作为对称中心，且其值的范围是从$[0,1]$的。而二项Logistic回归便是参数化的逻辑思谛分布。则对于有$m$个已经标记好的样本构成：$(x_1,y_1),(x_2,y_2),(x_3,y_3),\ldots(x_m,y_m)$（其中特征向量$x$是进行了增广操作，将偏置$b$添加进去了的），对应的分类$y\in{\{0,1\}}$，则可以将概率描述为：

$$h_\theta(x)=\frac{1}{1+exp(−\theta x)}$$
需要通过训练确定参数 $\theta$，使得下面的最小化损失函数最小化：
$$J(θ)=−\frac{1}{m}[\sum_{i=1}^my_ilog(h_\theta(x_i))+(1−y_i)log(1−h_\theta(x_i)]$$
而对于Softmax回归，其解决的是多分类问题。则对应的标记 $y\in{\{1,2,...k\}}$，其中k是分类的类型数目。对于给定的测试输入 $x$，我们想用假设函数针对每一个类别jj估算出概率值 $p(y=j|x)$。也就是说，我们想估计 $x$的每一种分类结果出现的概率。因此，我们的假设函数将要输出一个 $k$维的向量（向量元素的和为1）来表示这 $k$个估计的概率值。具体地说，我们的假设函数 $h_\theta(x)$形式如下：

hθ(xi)=⎡⎣⎢⎢⎢⎢⎢p(yi=1|xi;θ)p(yi=2|xi;θ)⋮p(yi=k|xi;θ)⎤⎦⎥⎥⎥⎥⎥=1∑kj=1eθjxi⎡