MachineLearning
lcczzu
这个作者很懒,什么都没留下…
展开
-
Softmax回归
目录1.简介2.代价函数3.Softmax回归模型参数化的特点4.权重衰减5.Softmax回归与Logistic 回归的关系6.Softmax 回归 vs. k 个二元分类器7.中英文对照1.简介在本节中,我们介绍Softmax回归模型,该模型是logistic回归模型在多分类问题上的推广,在多分类问题中,类标签可以取两个以上的值。 Softm...转载 2019-03-24 21:48:49 · 121 阅读 · 0 评论 -
批量梯度下降算法、随机梯度下降算法、小批量梯度下降算法
伪代码:批量梯度下降法(Batch Gradient Descent):Repeat until convergence{}随机梯度下降法(Stochastic Batch Gradient Descent):Loop{ for i = 1 to m,,{ }}小批量梯度下降(Mini Batch Gradient Desc...转载 2019-06-11 10:06:21 · 590 阅读 · 0 评论 -
交叉熵代价函数(作用及公式推导)
交叉熵代价函数(Cross-entropy cost function)是用来衡量人工神经网络(ANN)的预测值与实际值的一种方式。与二次代价函数相比,它能更有效地促进ANN的训练。在介绍交叉熵代价函数之前,本文先简要介绍二次代价函数,以及其存在的不足。1. 二次代价函数的不足ANN的设计目的之一是为了使机器可以像人一样学习知识。人在学习分析新事物时,当发现自己犯的错误...转载 2019-03-28 17:36:16 · 1125 阅读 · 0 评论 -
MachineLearning之Softmax
1. 什么是SoftmaxSoftmax 在机器学习和深度学习中有着非常广泛的应用。尤其在处理多分类(C > 2)问题,分类器最后的输出单元需要Softmax 函数进行数值处理。关于Softmax 函数的定义如下所示:其中,Vi 是分类器前级输出单元的输出。i 表示类别索引,总的类别个数为 C。Si 表示的是当前元素的指数与所有元素指数和的比值。Softmax 将多分类的输出数值...转载 2019-03-28 17:26:38 · 217 阅读 · 0 评论 -
为什么softmax函数需要减去一个max值
背景:在softmax函数对vector值进行计算,转换为[0, 1]区间的概率值的时候,往往会先对vector中每个元素减去一个max(vector)值。本文主要记录下对神经网络学习中,关于softmax函数计算的track背后的原因。 Softmax函数介绍 首先来看一下softmax函数的公式: 可以看到,softmax函数对vector处理的主要目的就是将vecto...转载 2019-03-28 17:22:28 · 1550 阅读 · 0 评论 -
Softmax损失函数求导之最大似然vs交叉熵
最大似然:交叉熵:原创 2019-04-24 20:44:13 · 769 阅读 · 0 评论 -
简单易懂的softmax交叉熵损失函数求导
-------------------原文:https://blog.csdn.net/qian99/article/details/78046329转载 2019-03-24 23:22:05 · 201 阅读 · 0 评论 -
批量梯度下降、随机梯度下降与小批量梯度下降算法之间的比较
这三种算法都用于反向传播的优化损失函数算法。在每轮迭代中更新一次权重w,根据多次迭代,最终无限的靠近我们预期的权重最优值。1. 批量梯度下降算法:(1) 如果数据集比较小,完全可以采用全数据集(Full Batch Learning)的形式,采用全数据有两个好处:a.由全数据集确定的方向能够更好地代表样本总体,从而更准确地朝向极值所在的方向。b.由于不同权重的梯度值差别巨大,因此选...转载 2019-06-11 10:09:27 · 3229 阅读 · 0 评论