softmax回归

softmax回归

假设函数：

是逻辑回归中sigmoid的扩展。

损失函数为：

但是softmax有一个特点：它有一个“冗余”的参数集。例如我们从每个theta向量中减去一个向量。

换句话说，softmax模型被过度参数化了，对于任意一个用于拟合数据的假设函数，可以求出多组参数值，这些参数得到的是完全相同的假设函数。

进一步而言，如果(theta1, theta2, ..., thetak)是代价函数的极小值点，那么(theta1 - a, theta2 - a, ..., thetak - a)同样也是它的极小值点，所以使损失函数最小化的解不是唯一的。（有趣的是，由于损失函数仍然是一个凸函数，因此梯度下降时不会遇到局部最优解的问题，但是Hessian矩阵是奇异的/不可逆的， 这会直接导致采用牛顿法优化就遇到数值计算问题）。