[机器学习] 机器学习入门篇 从线性回归到手写逻辑斯蒂回归

如果你能认真看完这篇文章, 那么请联系我
我送你小花花~

1. 线性回归

---

1.1 认识线性回归

• 在提到逻辑回归之前, 我们不得不说一下线性回归, 逻辑回归只是线性回归的一个变种或者说增强
• 回归(regression): 回归在机器学习中是监督学习的一个部分, 大体上我们可以看下图:
  
• 我们所说的线性回归, 可以说是机器学习中最重要的一个算法, 因为通过线性回归以及对线性回归的推广, 已经可以解决生活中的大部分分类与回归问题了!
• 无推广的线性回归是一个纯粹的回归模型.

1.2 来, 吃个栗子

我们看一个栗子
对一个房屋的价格, 我们的数据包括

• 房屋的面积
• 房屋的价格

其中, 房屋的面积是数据的一个特征(x), 房屋的价格是最后的预测结果(y)
对所有的数据, 得到如下图, 红色的点是所有的数据, 根据这些数据, 我们能够很容易的 画出一条直线(即学习过程) 来拟合这些数据, 如图中绿色的那条直线 $y=ax+b$
在画出了这条拟合的直线之后, 便可以通过其面积x, 来预测价格 y

接下来, 我们用Andrew Ng 的形式表达$y=ax+b$
其中的y, 是 假设函数 hypothesis 用$h_{\theta }(x)$表示$$h_{\theta }(x)={\theta }_0+{\theta }_{1}x$$
再看一张ppt, 总结一下上述

另外, 我们也可以直接表示$$y=b+wx$$
其中的$b$表示 $bias$, 即偏置, $w$是 $weight$ 权重
以上 是单变量线性回归

1.3 多变量线性回归以及矩阵的表示

顾名思义, 多变量线性回归即有多个特征, 比如上述栗子中房子的面积, 房子门口几条街, 和房子的楼层数, 都是房子的特征, 可以用如下方式表示$$y=b+w_1{x}_1+w_2{x}_2+w_3{x}_3+\cdots +w_m{x}_m$$$$y=b+\sum _{i=1}^m(w_i{x}_i)$$
在这里我们构造两个向量

• $X=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_m\\ 1\end{array}\right]$, 特征向量
• $\beta =\left[\begin{array}{c}{w}_1\\ w_2\\ ⋮\\ w_m\\ b\end{array}\right]$

上式可以表示为:
$$y={\beta }^{T}X$$

1.4 线性回归的最优解:

• 以上, 我们已经构造除了线性回归模型, 接下来, 要做的便是通过数据 学习$\beta$的值
• 共有 $m$ 条数据, 对于每一条数据, 我们的输入是 $X$与其对应的标签$y$, 输出是 $\hat{y}$,
  即, 我们用 $\hat{y}$ 表示预测结果, $y$表示实际结果
• 方差: J ( β ) = 1 2 m ∑ i = 0 m (