李宏毅机器学习-4
1、LR损失函数和梯度下降
一般线性函数的损失函数是平方损失函数,LR求最大似然估计是因为sigmoid函数求导后无法保证是凸函数,在优化的过程中可能得到的是局部最小值,而非全局最优。取对数是方便求导。
损失函数除以m这一因子并不改变最终求导极值结果,通过除以m可以得到平均损失值,避免样本数量对于损失值的影响。
2、Softmax原理
顾名思义,softmax由两个单词组成,其中一个是max。对于max我们都很熟悉,比如有两个变量a,b。如果a>b,则max为a,反之为b。
另一个单词是soft。max存在的一个问题是什么呢?如果将max看成一个分类问题,就是非黑即白,最后的输出是一个确定的变量。更多的时候,我们希望输出的是取到某个分类的概率,或者说我们希望分值大的那一项被经常取到,而分值较小的那一项也有一定的概率被取到,所以我们就应用到了soft的概念,即最后的输出是每个分类被取到的概率。下面的图就很容易理解Softmax原理: