作者:张欣
链接:https://www.zhihu.com/question/23765351/answer/98897364
来源:知乎
著作权归作者所有,转载请联系作者获得授权。
链接:https://www.zhihu.com/question/23765351/answer/98897364
来源:知乎
著作权归作者所有,转载请联系作者获得授权。
softmax 回归(
Softmax Regression) 这里解释的很详细,简单总结下:
softmax模型是logistic模型在多分类问题上的推广, logistic 回归是针对二分类问题的,类标记为{0, 1}。
假设函数为: 。
代价函数为:<img src="https://i-blog.csdnimg.cn/blog_migrate/0ac3e9ce141cf65e25f00747da12b2c5.png" data-rawwidth="514" data-rawheight="61" class="origin_image zh-lightbox-thumb" width="514" data-original="https://pic1.zhimg.com/980d1a1ab6da9a277ee7fe5e2e5b6c1c_r.png">
在 softmax模型中,label可以为k个不同的值 。
对于给定的测试输入 ,我们想用假设函数针对每一个类别j估算出概率值 。
假设函数将输出一个k维的向量
<img src="https://i-blog.csdnimg.cn/blog_migrate/18a137cb191cfbe0bdf298020b69f64f.png" data-rawwidth="453" data-rawheight="111" class="origin_image zh-lightbox-thumb" width="453" data-original="https://pic4.zhimg.com/242501fa80f9a1d463fb4b5d10d446b7_r.png">
请注意 这一项对概率分布进行归一化,使得所有概率之和为 1 。
代价函数为:<img src="https://i-blog.csdnimg.cn/blog_migrate/96522cb32ba8112f1536a5600b7ac3e5.png" data-rawwidth="417" data-rawheight="61" class="content_image" width="417">其中:1{值为真的表达式}=1 为示性函数。 其中:1{值为真的表达式}=1 为示性函数。
如果类别之间是互斥的,适合用softmax;如果类别之间允许重叠,应该选择k个logistic分类器。
softmax模型是logistic模型在多分类问题上的推广, logistic 回归是针对二分类问题的,类标记为{0, 1}。
假设函数为: 。
代价函数为:<img src="https://i-blog.csdnimg.cn/blog_migrate/0ac3e9ce141cf65e25f00747da12b2c5.png" data-rawwidth="514" data-rawheight="61" class="origin_image zh-lightbox-thumb" width="514" data-original="https://pic1.zhimg.com/980d1a1ab6da9a277ee7fe5e2e5b6c1c_r.png">
在 softmax模型中,label可以为k个不同的值 。
对于给定的测试输入 ,我们想用假设函数针对每一个类别j估算出概率值 。
假设函数将输出一个k维的向量
<img src="https://i-blog.csdnimg.cn/blog_migrate/18a137cb191cfbe0bdf298020b69f64f.png" data-rawwidth="453" data-rawheight="111" class="origin_image zh-lightbox-thumb" width="453" data-original="https://pic4.zhimg.com/242501fa80f9a1d463fb4b5d10d446b7_r.png">
请注意 这一项对概率分布进行归一化,使得所有概率之和为 1 。
代价函数为:<img src="https://i-blog.csdnimg.cn/blog_migrate/96522cb32ba8112f1536a5600b7ac3e5.png" data-rawwidth="417" data-rawheight="61" class="content_image" width="417">其中:1{值为真的表达式}=1 为示性函数。 其中:1{值为真的表达式}=1 为示性函数。
如果类别之间是互斥的,适合用softmax;如果类别之间允许重叠,应该选择k个logistic分类器。