损失函数
这里先说明一下损失函数(loss function)或代价函数(cost function)的作用,损失函数其实是来度量预测错误程度
也就是说,对于一个机器学习算法,如何评价一个算法是否是比较好的算法,需要提前定义一个损失函数,来判断这个算法是否是最优的,而后面不断的优化求梯度下降,使得损失函数最小,应该也是为了让一个算法达到意义上的最优。
逻辑回归
为什么使用Logistic函数
引用《机器学习实战》里面的话:
我们想要的函数应该是,能够接受所有的输入然后预测出类别。例如在两个类的情况下,分类函数能够输出0或1,这类函数成为“海威赛德阶跃函数”,然而这类函数的问题在于,该函数直接在跳跃点从0跳跃到1,这个瞬间的跳跃有点难处理,幸好有个函数有类似的性质,并且在数据上更容易处理,这就是sigmoid含糊,这个函数的具体计算公式如下:
因为对于一般的分类器来说,其变化是突变的,而不能较好的比较和判断一个数渐变的区别。
采用logistic函数就可以让函数变得平滑
通过logistic函数的图像,我们很容易总结出他的以下优点:
1.他的输入范围是−∞→+∞ ,而之于刚好为(0,1),正好满足概率分布为(0,1)的要求。我们用概率去描述分类器,自然比单纯的某个阈值要方便很多;
2.他是一个单调上升的函数,具有良好的连续性,不存在不连续点。
以上便解答了我们对于一些算法上的一些难以理解的公式,毕竟知道怎么来的更方便我们理解和接受。
【扩展】
更多详细的对于逻辑回归为什么用sigmoid函数请见: logistic回归详解一:为什么要使用logistic函数
【原创】转载请注明出处:http://blog.csdn.net/wearge/article/details/77072665