机器学习-逻辑回归

#原理
逻辑回归是分类问题。
对x的输入特征进行学习，输出y值属于哪一类的分类算法。
比如：在titanic机器学习中，给出乘客的姓名/年龄/性别等一系列的值（X的值），通过对一些列值的学习，得出最终乘客是幸存还是死亡(最终的y值是0还是1，0代表死亡，1代表幸存）。

首先，y=wx+b,这是最基本的线性公式。即x和y呈现线性对应关系。.
但是，在很多实际问题处理时，输入变量x和输出变量y之间，是非线性的关系。这就要在x和y中间引入一个中间变量z。使得z=wx+b,y=g(z)。最终的等于变为y=g(wx+b)。
逻辑回归的目的是，根据给定的x，判断y属于哪一类。即希望输出结果y是0或者是1的离散值。
z=wx+b，该式得到的z是一个连续的值。通过函数y=g(z)的映射，将该值映射到y上的离散值。在熟悉函数中，有这么一个sigmoid函数可以做到。

该公式的图像如图所示：

可以看出，该函数z<0的区间，y<0.5;在z>0的区间，y>0.5。
在这里，z即使x通过特征值的计算，得出的生存几率。我们给定一个评价标准，如：当z>0.5,即乘客的生存几率大于0.5时，认为乘客是可以活着的。通过这种方式，可以得到y和z的对应关系。

问题：
现在的问题是，在z=wx+b中如何得到w和b的值，使得训练数据尽可能的准确。
在预测P(y=1|x），即给定x的情况下，y=1的概率时。可以用
P(y=1|x）=g（z）表示。
同理，P(y=0|x）=1-g(z),表示在给定x的情况下，y=0的概率。
将生存和死亡的概率用一个公式表达：

将y=0和y=1分别带入上式，可以得到上面两个等式。
该等式中，z=wx+b，可以的w和x进行处理，得到z=wx。
将z=wx带入，最终的概率表达式变为：

上面的等式，是对单个的x，在知道标签类别后，对该类别的评估。
我们在判w对整个函数的影响时，应该针对整体训练集正确的概率进行判断。即：

该公式为乘法公式，对等式两边取对数得：

上面等式的值越大，我们认为结果越好。但我们一般习惯其最小值，在上式前面加一个负号，即得到损失函数：

当J(w)取最小值时，这时的w就时我们需要求解的最终结果。

如何求解J(w)的最小值？
针对J(w)的对w求偏导数。
最终的求解结果为：

通过不断的迭代：

其中，alpha为学习率，即J(w)收敛的速度。