1. Logistic与Softmax简述
谈到Logistic回归首先谈到便是逻辑思谛分布,其概率分布如下图所示:
可以看出该分布函数是一条S形曲线,曲线以点(0,12)(0,12)作为对称中心,且其值的范围是从 [0,1] [ 0 , 1 ] 的。而二项Logistic回归便是参数化的逻辑思谛分布。则对于有 m m 个已经标记好的样本构成:
(其中特征向量 x x 是进行了增广操作,将偏置
添加进去了的),对应的分类 y∈{
0,1} y ∈ { 0 , 1 } ,则可以将概率描述为:
hθ(x)=11+exp(−θx) h θ ( x ) = 1 1 + e x p ( − θ x )
需要通过训练确定参数 θ θ ,使得下面的最小化损失函数最小化:
J(θ)=−1m[∑i=1myilog(hθ(xi))+(1−yi)log(1−hθ(xi)] J ( θ ) = − 1 m [ ∑ i = 1 m y i l o g ( h θ ( x i ) ) + ( 1 − y i ) l o g ( 1 − h θ ( x i ) ]
而对于Softmax回归,其解决的是多分类问题。则对应的标记 y∈{ 1,2,...k} y ∈ { 1 , 2 , . . . k } ,其中k是分类的类型数目。对于给定的测试输入 x x ,我们想用假设函数针对每一个类别jj估算出概率值 。也就是说,我们想估计 x x 的每一种分类结果出现的概率。因此,我们的假设函数将要输出一个 维的向量(向量元素的和为1)来表示这 k k 个估计的概率值。具体地说,我们的假设函数 形式如下:
hθ(xi)=⎡⎣⎢⎢⎢⎢⎢p(yi=1|xi;θ)p(yi=2|xi;θ)⋮p(yi=k|xi;θ)⎤⎦⎥⎥⎥⎥⎥=1∑kj=1eθjxi⎡