之前的文章对逻辑回归已经进行了较为详尽的介绍,在此我们为了更为迅速方便的理解逻辑回归在手写数字识别当中的应用,我们仅仅做简单快速的回顾。逻辑回归通常应用于二分类问题,而经过拓展其也可以应用于多分类问题,此问题读者可以去看本人写的这篇文章机器学习-Softmax Regression;
(一)逻辑回归原理回顾
逻辑回归的主要目的就是寻找图中的蓝色最佳分界线,其中x1,x2可以理解为两个特征,每个特征会对应一个权值θ,则分界线的表达式就是:Θ0*x0+Θ1*x1+Θ2*x2=Θ0+Θ1*x1+Θ2*x2=0, 分类边界可以统一表示成f(x)=ΘT*x,
记住梯度上升的权值更新公式对于理解代码非常重要,如下: