深度学习笔记10/21——逻辑回归（logistic regression）

逻辑回归中的损失函数——loss function

        损失函数是量化预测误差的表达式。 可用需要进行设定来对输出值进行检测，这里的分别指预测输出的和样例的。

        那么如何进行设定呢？现在假设有一组样例    ,通过函数可以计算出参数：样本权重和偏置量，从而用输入的来预测，得出。

因此在得出结果后我们需要一个函数来检测得出的结果和样本中的样例的差距有多大，并且需要将得出的结果不断的调整向样例靠拢，所以可以轻易地想到的函数是：

但是如果使用这个函数，那么可以在其定义域中找到不止一个极值点，因此不好判断最优选择，所以我么需要一个更加平滑的函数，因此可以构建出一个新的函数：

或者交叉熵函数：

        原理是因为拉斐拉效应：当=1时，就必须尽可能的增大，因为在sigmoid函数中的值域上界就是1，所以无线趋近于1；当=0时相反趋近于0。因此，这个函数更适于作为损失函数。

逻辑回归中的代价函数——cost function

        检测优化组的整体运行情况,反应的是参数成本

因此在优化逻辑回归模型是需要找参数,和来缩小代价函数的整体成本