- 博客(2)
- 收藏
- 关注
RSS订阅原创 训练-测试数据类别不平衡和交叉熵(Quora question pair challenge中的类别不平衡问题)
介绍假设我们想要在一个二分类问题上训练一个机器学习模型, 一个标准的度量模型性能的方法叫做log-loss或binary cross-entropy. 这意味着对于给定的预测标签y的任务, 我们想要得到概率y^\hat{y}y^,而不是仅仅输出一个0/1的预测类别.模型的cross entropy 分数定义为:∑i−yilogyi^−(1−yi)log(1−yi^)\sum_i -y_i l...
2018-12-24 19:33:22
2948
原创 cross entropy 与 square error(square error在神经网络中的梯度消失问题)
在训练神经网时,应该使用哪一个呢?如果是回归问题,用均方误差(MSE).如果是分类问题,一般用交叉熵损失(CE).因为MSE容易发生梯度消失问题,而CE则不会.以分类问题为例,假设我们的类别数量为T,最后一层使用softmax.对一条样本(x,c)而言,其label为c.在神经网络softmax之前的那一层,共有T个神经元:不管是用MSE还是CE，我们都是希望ycy_cyc越大越好，其...
2018-12-15 17:01:50
2049
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人