深度学习笔记（二）：逻辑回归的理解

logistic regression 逻辑回归

本文先来讲逻辑回归的二分分类法

这里我们用（x，y）来表示一个单独的样本，其中x为对应矩阵，如一张图片的三通道像素值，即

                                                                    

此处x1，x2，x3为红绿蓝三种颜色的像素值分布，维数是（n，1）

        

对于二分分类的问题，我们在给定x的情况下，需要确定y值为0或1，但在现实生活中，想做到完全的二分是很困难的，并且光有这个函数，无法将a地范围很好地限制在（0，1）内，于是就有了sigmoid函数（如图）

                                                    

 可以看出在sigmoid函数的控制下，a的取值范围被有效地控制在了（0，1）之间

于是乎，逻辑回归就想找到对于给定地n组（x，y）数据，通过梯度下降法找到

 ，即中最符合y值的w和b

深度学习给出的式子是（别问为啥是他，我也只会简单证明）

 由上图可知，需要找到使得f（a，y）最小的w和b值才能得到a对于y较好的拟合的结果，通过偏导链式法则可得

                                          

两者合并得  

 

                   

又因为 z=w1x1+w2x2+w3x3+b，再进行相应得链式法则便可得到w和b的迭代函数                                                                                              等等

 求出偏导后大致上就可以进行梯度下降寻找最小值的步骤了

注：在多样本实验中，需要对各个样本求出来的偏导进行取平均值，这样可以达到多样本共同实现梯度下降。

下面附上多样本的cost function （成本函数）：

             

偏导再往下求即可