回归--理论

目录

线性回归

假设具有三个性质：内涵性，简化性，发散性。

正则化与稀疏

机器学习与数据使用

Moore-Penrose广义逆矩阵(伪逆）

梯度下降算法

折中：mini-batch

---

 

 

 

 

 

函数的输出可以是一个连续的值（称为回归），或是输出是有限个离散值（称作分类）。

线性回归

如何确定k,b ?

为截距，x,y为给定的样本，这个模型其实就是线性回归的模型，用这个模型和样本确定θ1，θ2，θ0最佳的值，θ未知，x已知，公式：

第i个样本实际的值=预测值+误差值

实际问题中，很多随机现象可以看 做 众多因 素 的独立影响的综合反应，往往近似服从正 态分布。

城市耗电量：大量用户的 耗电 量 总和

测量误差：许多观察不到 的、 微 小误 差 的总和

注：应用前提是多个随机变量的和，有些问题 是乘性误差，则需要鉴别或者取对数后再使用

机器学习中的建模过程，往往充斥着假设， 合理的假设是合理模型的必要前提。

假设具有三个性质：内涵性，简化性，发散性。

所谓假设，就是根据常理应该是正确的。如假定一个人的身高位于区间[150cm,220cm]， 这能够使得大多数情况都是对的，但很显然有 些篮球运动员已经不属于这个区间。所以，假 设的第一个性质：假设往往是正确的但不一定 总是正确。我们可以称之为“假设的内涵性”。

假设的简化性，假设只是接近真实，往往需要做若干简化。如，在自然语言处理中，往往使用词袋模型(Bag Of Words)，认为一篇文档的词是独立的——这样的好处是计算该文档的似然概率非常简 洁，只需要每个词出现概率乘积即可。但我们知道这个假设是错的：一个文档前一个 词是“正态”，则下一个词极有可能是“分 布”，文档的词并非真的独立。这个现象可以称之为“假设的简化性”。

假设的发散性，在某个简化的假设下推导得到的结论，不一 定只有在假设成立时结论才成立。如，我们假定文本中的词是独立的，通过朴素 贝叶斯做分类(如垃圾邮件的判定)。我们发现：即使使用这样明显不正确的假设， 但它的分类效果往往在实践中是堪用的。这个现象可以称之为“假设的发散性”。

最小二乘意义下的参数最优解

加入λ扰动后

正则化与稀疏

 

机器学习与数据使用

Moore-Penrose广义逆矩阵(伪逆）

SVD计算矩阵的广义逆

梯度下降算法

批量梯度下降算法

折中：mini-batch

如果不是每拿到一个样本即更改梯度，而是 若干个样本的平均梯度作为更新方向，则是  mini-batch梯度下降算法。

线性回归的进一步分析