多分类的loss函数，accuracy理解——手写代码

0. 写作目的

好记性不如烂笔头。

总结： 博主认为，正是由于Accuracy计算时，采用的是相对最大概率，所以存在计算的loss与accuracy不成正比关系，即当accuracy很高时，有可能存在loss很高，这是由于，我们的目的是：使得最大下标的概率很大，接近于1，但实际是相对最大，导致accuracy很高，loss也很高，如对于三分类，我们期望的预测结果是[1, 0, 0]或者[0.95, 0.02, 0.03]，但可能实际得到的是[0.45, 0.25, 0.3]，此时accuracy的计算结果不变，但是loss值却变动很大。

改进：因此一般训练时，看loss为主。但在发表的论文中存在以accuracy为准则（如VGG论文）。如果以accuracy为主，可以添加约束条件，例如，对相对最大值进行判断。即如果相对最大值大于0.8，认为正确，否则不正确。

1. category cross entropy