直接使用梯度下降法去做逻辑回归,相当于完成底层实现。
直接调用sklearn的话,简单很多,具体实现无法学习到。更多机器学习实战内容
一、逻辑回归(Logistic Regression)
逻辑回归是用来处理分类问题的 Sigmoid/Logistic Function:
1、决策边界
case 1:
case 2:
case 3:
2、逻辑回归的代价函数更多机器学习实战内容
(1) 所以对于non-convex func来说,梯度下降法的代价函数并不适合这种问题求解,需要新的代价函数。
(2) 由上图可知,预测正确,cost的值越小(为0),预测错误,cost的值越大(为无穷大)。
(3) 这个就是逻辑回归的代价函数的公式,在后面深度学习里面使用的交叉熵,也是这个公式。
使用梯度下降法,下面是求导过程:
所以得到@j的每次更替的值用如下式子进行赋值:
3、多分类问题如何解决
逻辑回归一般是用来做这种二分类的问题的,那么对于多分类的情况,如何做?
可以做三个分类边界,如下图:
4、逻辑回归的正则化
——————————————————————————————————————————
在上面的介绍如何使用逻辑回归进行分类后,下面讲述如何去评价分类后的结果(评价指标)更多机器学习实战内容
——————————————————————————————————————————
5、正确率(precision)/召回率(recall)/F1指标
举个例子,去理解正确率、召回率、F1-score:
</