- 博客(2)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 softmax回归
softmax回归假设函数：是逻辑回归中sigmoid的扩展。损失函数为：但是softmax有一个特点：它有一个“冗余”的参数集。例如我们从每个theta向量中减去一个向量。换句话说，softmax模型被过度参数化了，对于任意一个用于拟合数据的假设函数，可以求出多组参数值，这些参数得到的是完全相同的假设函数。进一步而言，如果(theta1, theta2, ..
2018-01-30 15:39:03
396
原创 为什么交叉熵可以作为损失函数？
通俗的理解：熵：可以表示一个事件Ａ的自信息量，就是Ａ包含多少信息。ＫＬ散度：可以用来表示从事件Ａ的角度来看，事件Ｂ有多大不同。交叉熵：可以用来表示从事件Ａ的角度来看，如何描述事件Ｂ。熵的公式：ＫＬ散度的公式：交叉熵的公式：所以Ａ与Ｂ的交叉熵 ＝ Ａ与Ｂ的ＫＬ散度 － Ａ的熵当Ａ的熵一定，最小化交叉熵与最小化ＫＬ散度等价。例如在逻辑回归中，
2018-01-30 14:25:49
4219
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人