(MIT)Deep learning 学习笔记（5）--Linear Regression

貌似是浏览器不兼容，之前几篇图片都乱七八糟的，还是老老实实用HTML的写吧。再用MARKDOWN我就是XX。

在介绍Linear Regression之前，书中总结了机器学习可以运用的方方面面，我归纳如下：

1 Classification 本质是构造N维空间的高维向量向一个低维向量的映射。 分类是机器学习诞生的原因，也说机器学习最基本的使用方法。类似于SVM、聚类等等分类方法目的都是找一个能将所有样本分开的超平面，当然是对于简单的二分而言。后来更加复杂的分类要求，慢慢导致了机器学习的进一步进化，正如同1，0是计算机最基本的语言，二分类也是所有方法的基础。

2  Classification with missing inputs 本质是构造N维空间的一个向量的一部分向一个低维向量的映射。  这是分类的进一步要求。当输入的样本缺乏时候，需要计算器去寻找样本之前的潜在关系，并且根据推出的式子对估计的样本进行计算。

3 Regression 回归计算。本质是构造N维空间的向量向一个数的映射。最初是属于基本数学方法，后来随着数据越来越复杂，原始的公式已经无法满足要求，导致了机器学习的发展。

4 Transcription 转换。 本质是构造N维空间的向量向另外一个高维空间的映射。识别就属于这一类，把一张带有字符的图片交给电脑，电脑把上面的字符整理出来。中间会经历很多过程，也是需要人工介入非常多的一个工作。对于一些规律性的数据有着非常良好的表现，但是规律性不足的时候只有靠人工来补充了。

5 indexTranslation Translation 翻译。本质是根据字典构造N维向量之间的映射。由于人的语言的复杂性，需要人工做一些限制。目前简单句子有很好表现，但是复杂句子还待时间。

6 Structured output 人工智能。应该用这个形容比较贴近。本质是运用所有相关知识，构建了多个维度向量之间的映射。非常非常复杂的东西。举个例子就是给电脑一副图片，电脑要描述图片上的内容。

7 Anomaly detection异常检测。集合到集合的映射。映射到目标集合外面的就是不正常的，原理简单，用途广泛。

8 Synthesis and sampling数据生成。这个我研究生做过。我对这个的理解是构造N维向量向一个空间的映射，同时还要构建一个逆映射。根据这两种映射关系，以及两个空间内样本分布，模拟数据。目前比较火的有对抗训练。

9 Imputation of missing values数据预测。根据部分样本规律，预测其他样本的值。本质上是一个类似于求最小值的问题吧。

10 Denoising去噪。本质是讲一组数据映射到一个空间的不同位置。

11 Density or probability function estimation 概率密度分析 对样本分布的估计。很有用

接下来介绍的Linear Regression 线性回归。很基本的东西。

目标就是构建一组映射W，使得在N维空间中的X映射到一维空间的Y。

如上图所示。那么为了得到效果最好的W，我们该怎么办呢。

对了，又需要范数来帮助我们，我们要根据距离来确定W的最优解。

目标就是使得映射后的值与真实值越接近越好。公式如下：

看到这个平方是不是觉得很眼熟，接下来又要开始用矩阵展开了。

看起来很复杂的式子，一下子就化解的很简单了。最后可以退出W的通项。在线代中我们早已经知晓的结果。

当然公式中也可能有其他参数。例如：

都是类似的。最后也能用通式解决。

其实看了这么多，感觉机器学习的本质是求近似，利用各种方法去估算，后面的算法数学部分越来越复杂，

感觉类似于量子理论，对于超微观的物理系数，只能不停的用各种近似的办法去逼近，逼到最后拿出个测不准

原理证明自己的逼近没问题，误差永远消不掉一样。不过在近似的过程中，也不断的发现着，如同灵摆早晚会

画出优美的弧线。