沐神深度学习笔记5

线性回归相关知识：

回归：

    首先理解一下回归：

    回归（regression）是能为一个或多个自变量与因变量之间关系建模的一类方法。 在自然科学和社会科学领域，回归经常用来表示输入和输出之间的关系。

在机器学习领域中的大多数任务通常都与预测（prediction）有关。 当我们想预测一个数值时，就会涉及到回归问题。 常见的例子包括：预测价格（房屋、股票等）、预测住院时间（针对住院病人等）、 预测需求（零售销量等）。 但不是所有的预测都是回归问题。 在后面的章节中，我们将介绍分类问题。分类问题的目标是预测数据属于一组类别中的哪一个。

线性回归：

     线性回归（linear regression）可以追溯到19世纪初， 它在回归的各种标准工具中最简单而且最流行。 线性回归基于几个简单的假设： 首先，假设自变量𝐱和因变量𝑦之间的关系是线性的， 即𝑦可以表示为𝐱

中元素的加权和，这里通常允许包含观测值的一些噪声； 其次，我们假设任何噪声都比较正常，如噪声遵循正态分布。

为了解释线性回归，我们举一个实际的例子： 我们希望根据房屋的面积（平方英尺）和房龄（年）来估算房屋价格（美元）。 为了开发一个能预测房价的模型，我们需要收集一个真实的数据集。 这个数据集包括了房屋的销售价格、面积和房龄。 在机器学习的术语中，该数据集称为训练数据集（training data set） 或训练集（training set）。 每行数据（比如一次房屋交易相对应的数据）称为样本（sample）， 也可以称为数据点（data point）或数据样本（data instance）。 我们把试图预测的目标（比如预测房屋价格）称为标签（label）或目标（target）。 预测所依据的自变量（面积和房龄）称为特征（feature）或协变量（covariate）。

通常，我们使用𝑛

来表示数据集中的样本数。 对索引为𝑖的样本，其输入表示为𝐱(𝑖)=[𝑥(𝑖)1,𝑥(𝑖)2]⊤， 其对应的标签是𝑦(𝑖)。

例子：

房价：

1.

2.化为公式：

 

3.化为向量内积：

                             

4.引入特征集：

5.损失分析：

 

6.得出显式解（线性回归独有的）：

 

沐神此处网课中计算可能有误：w*=(XX^T)^(-1)X^Ty 为本人计算结果，仅供参考。