单变量线性回归笔记

 

1，判别分类与回归问题的区别在于，回归是根据之前的数据预测出来一个准确的输出值，这个值是连续的。类似于房子价格预测以及使用算法预测明天气温（摄氏度/华氏度），都是回归问题。而分类问题也是根据之前的数据预测出来，但只说好坏，是离散的结果。比如说预测公司破产与否还有得病与否。

2，机器学习的合理定义就是机器学习能使计算机能够在没有明确编程的情况下学习。有人给它编程，那么不就跟之前一样么。

3，监督学习（1）定义：监督学习是指通过外部的响应变量来指导模型学习我们关心的任务，并达到我们需要的目的。也就是说，监督学习的最终目标，是使模型可以更准确地对我们所需要的响应变量建模。换个说法，从给定已经标注了的数据集中学习训练出一个模型，当新的未标注的数据输入时，可以根据训练好的模型得到预测结果。监督学习常用于处理“分类”问题。
（2）监督学习的三类模型：1.线性模型，2.决策树模型，3.神经网络模型

ps：线性回归模型是所有回归模型中最简单也是最核心的一个模型。

4，无监督学习：（1）定义：通常情况下，无监督学习并没有明显的响应变量。无监督学习的核心，往往是希望发现数据内部潜在的结构和规律，为我们进行下一步决断提供参考。典型的无监督学习就是希望能够利用数据特征来把数据分组，也就是“聚类”。
  通常情况下，无监督学习能够挖掘出数据内部的结构，而这些结构可能会比我们提供的数据特征更能抓住数据的本质联系。因此，监督学习中往往也需要无监督学习来进行辅助。

ps：K 均值算法（K-means）是聚类算法模型中最常见的、非常重要的算法模型。

5，各种符号：

m：训练集中实例的数量（训练集中的训练样本个数）；

x：特征/输入变量；

y ：目标变量/输出变量（也就是预测结果）；

(x,y)：训练集中的实例（一个训练样本，表中的每一行为一个训练样本）；

(x(i), y(i) ) ：第i个观察实例（第i个训练样本，上标i只是一个索引，表示第几个训练样本，即表中的第i行

6，代价函数：利用一个最小化问题求解θ0 和θ1。于是，问题转化为：求解θ0 和θ1，使得训练集中的所有样本的预测值和真实值的差的平方和最小，这就是线性回归的目标函数。

一个模型：

 两个模型：

 梯度下降：

 其中（1）:= 表示赋值；

（2）α 是一个数字，被称为学习速率，它控制了我们下山时会迈出多大的步子，因此如果α值很大，那么相应的梯度下降过程中我们会试图用大步子下山，如果α值很小，那么我们会迈着很小的小碎步下山（关于如何设置α的值等内容，在之后的课程中会再讲解）；

（3）微分项（代价函数的导数）

（4）同时，要注意，这里的梯度下降法为批量梯度下降法，我们每一次都同时让所有的参数减去学习速率乘以代价函数的导数。

梯度下降背后的思想：开始时随机选择一个参数的组合（θ0,θ1,...,θn），计算代价函数，然后我们寻找下一个能让代价函数值下降最多的参数组合。持续这么做直到找到一个局部最小值。因为并没有尝试完所有的参数组合，所以不能确定所得到的局部最小值是否为全局最小值（global minimum），选择不同的初始参数组合，可能会找到不同的局部最小值。

注意：当α较小时，需要很多步才能走到最低点(baby steps)；当α较大时，可能会出现发散的情况。

为什么学习率不变时，梯度下降法也可以收敛到局部最优解？

 学习率不变的话，随着梯度下降法的运行，移动的幅度会自动变得越来越小，直到收敛到一个局部极小值。