深度学习：Sigmoid函数与损失函数求导

1、sigmoid函数

 sigmoid函数，也就是s型曲线函数，如下：

函数：

 

导数：f′(z)=f(z)(1−f(z))

上面是我们常见的形式，虽然知道这样的形式，也知道计算流程，不够感觉并不太直观，下面来分析一下。

1.1 从指数函数到sigmoid

​ 首先我们来画出指数函数的基本图形：

从上图，我们得到了这样的几个信息，指数函数过(0,1)点，单调递增/递减，定义域为(−∞,+∞)(−∞,+∞)，值域为(0,+∞)(0,+∞)，再来我们看一下sigmoid函数的图像：

 

 如果直接把e−xe−x放到分母上，就与exex图像一样了，所以分母加上1，就得到了上面的图像，定义域是(−∞,+∞)(−∞,+∞)，值域是(0,1)(0,1)，那么就有一个很好地特性了，就是不管xx是什么，都可以得到(0,1)(0,1)之间的值；

1.2 对数函数与sigmoid

首先来看一下对数函数的图像：

​ 对数函数的图像如上，单调递减，有一个比较好的特性就是在(0,1)(0,1)之间，在接近0的时候，就近无穷大，接近1的时候为0，如果我们把前面的sigmoid函数放到自变量的位置上，就得到了(0,1)(0,1)的图像；

​ 我们如何来衡量一个结果与实际计算值得差距呢？一种思路就是，如果结果越接近，差值就越小，反之越大，这个函数就提供了这样一种思路，如果计算得到的值越接近1，那么那么表示与世界结果越接近，反之越远，所以利用这个函数，可以作为逻辑回归分类器的损失函数，如果所有的结果都能接近结果值，那么就越接近于0，如果所有的样本计算完成以后，结果接近于0，就表示计算结果与实际结果非常相近。
https://blog.csdn.net/zhishengqianjun/article/details/75303820#1sigmoid%E5%87%BD%E6%95%B0