机器学习实战2--logstic回归

$logistic$回归实际上是一个二分类问题。
问题描述：给一组由若干特征组成的$x$以及相对应的标签$y$。其中$y$是由$0$和$1$构成的。

我们来看一下这个预测过程。实际上这应该是一个多元回归的问题，我们由$x_1,x_2,x_3,...,x_n$回归出一个$f(x)$，其中$f(x)$应该形如$y=k_1{x}_1+k_2{x}_2+...+k_n{x}_n+b$，但是，我们做的是二分类的问题，这个$y$应该是映射在$[0,1]$之间的。但是如果想现在这样做多元回归，$y$的范围是$(-\infty ,+\infty )$。所以首先将$y$映射到$[0,+\infty )$，即$e^y$，然后映射到$[0,1)$，即$\frac{e^y}{e^y+1}$，化简整理得到：$\frac{1}{1+e^{-y}}$，也就是我们所熟知的$sigmoid$函数。我们知道经过预测之后得到的是概率$P(x)$.也就是$P(x)=\frac{1}{1+e^{-f(x)}}$。则应该有$f(x)=ln(\frac{P(x)}{1-P(x)})$。

然后今天上课的时候我就一直在想这样一个问题。我们首先手里有待预测的数据，满足$y$是$0$或$1$.那么能不能用这个$y$映射到$f(x)$，然后去做多元回归。想了半天发现根本不想，$ln$那块的定义域就不对。所以逻辑回归实际上是定义了一个交叉熵函数，然后用这个交叉熵直接去更新$f(x)$的多元回归系数也就是若干个$\theta$。

下面来看这个交叉熵函数：
$$J(\theta )=-\frac{1}{N}\sum (y_{i}log(p(y_i))+(1-y_i)log(1-p(y_i)))$$

其中$y_i$是期望预测的，$p(y_i)$是实际的计算结果，比如$y_i$是1，$p(y_i)$是0.9 。注意$y$越大，$p(y_i)$越小，则$loss$越大。注意这个$loss$是针对$P(x)$计算的。
后续求导：
这里
$loss$可以任意定义，与原函数无关。（并不严谨的一种说法）
可能涉及到的代码：
链接：https://pan.baidu.com/s/1Zna79xxqIi1_BitzBSQptw?pwd=1234
提取码：1234