softmax交叉熵的局限性

明确softmax交叉熵是干啥的：

我们识别一个图片中的手写数字 ，比如7  ，经过训练我们得到一个预测值，使用onehot表示就是

[ 0 , 0, 0 ,0，0，1，0，1,  0,  0]   //第6个位置是1，代表预测是5

这显然不准确

如果我们现在使用softmax交叉熵去优化的话，就能实现如下效果：

我们预测值里面的 1 ，会不断地接近第8个位置，也就是正确的值7 

最终会成为

[0,0,0,0,0,0,0,0,1,0,0]   //正确

但是，我举个例子，如果一个图片里面有 4个数 ， 我们想把这四个数给识别出来

我们的预测值是：
[
 [0,0,0,0,0,0,0,0,0,1]
 [0,1,0,0,0,0,0,0,0,0]
 [0,0,0,0,1,0,0,0,0,0]
 [0,0,0,0,0,0,1,0,0,0]
]
但是正确答案是：
[
 [0,0,0,0,0,0,1,0,0,0]
 [0,0,1,0,0,0,0,0,0,0]
 [0,0,0,0,0,1,0,0,0,0]
 [0,0,0,0,0,1,0,0,0,0]
]

我们要想使用softmax进行优化，必须要求是一个一维的数组，也就是，我们不得不把这四个预测值合并成一个一维向量。
[0,0,0,0,0,0,0,0,0,1,0,1,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0]

但是，这种情况，我们应该让 1 ，怎样逼近实际的1的位置呢？softmax做不到这种优化。

总结： softmax优化不适合这种多特征的优化

解决方案: 使用sigmoid 交叉熵