机器学习术语总结-1--个人向

PS：一只正在学习机器学习的菜鸟。术语组成主要是深度学习（入门圣经）+维基百科+自己的理解。写这个主要是因为在自己学习过程中有一些术语查了又忘，忘了又查。。。所以写篇博客记录一下，术语不是按学习顺序记录的。都是基于自己的理解写出来的话，比较通俗易懂，错误的还请大家指正。同时会在文末放上自己学习上没弄明白的点，也希望大神能评论指出。

一.术语解释

1.数值解与闭解（解析解）

数值解就是具体的值，如  X=1,Y=2 这类的。

闭解就是用函数所表达出来的解，如 X=y-t; 等

2.最大似然估计

是用来估计一个概率模型的参数的一种方法。简单来说就是，比如我又一个样本X1,X2,X3.....Xn, 它服从某个以为参数的分布。

最大似然估计就是求在何值时使得P(X1,X2,X3.....Xn | )最大。

3.组件

机器学习包含四大组件：特定的数据集，代价函数，优化过程和模型。

4.维数灾难

数据的维数很高时，很多机器学习问题变得相当困难。特别值得注意的是，一组变量不同的可能配置数量会随着变量数目的增加而指数级增长。简单来说就是变量越大，所有变量的值空间就越大。

5.统计挑战

统计挑战产生于 x 的可 能配置数目远大于训练样本的数目。打个比方：如果是2个特征变量的2次函数拟合，代价函数中就可能有

x1^2, x2^2, x1x2

而3个特征则可能有

x1^2, x2^2, x3^2, x1x2, x1x3, x2x3,  x1x2x3

 6. 局部不变性先验

我们学习的函数不应在小区域内发生很大的变化。换言之，如果我们知道对应输入 x 的答案(例如，x 是个有标签的训练样本)，那么 该答案对于 x 的邻域应该也适用。

f(x)应约等于f(x+)   是一个较小的值。

7. 流形学习

流形(manifold)指连接在一起的区域。数学上，它是指一组点，且每个点都 有其邻域。给定一个任意的点，其流形局部看起来像是欧几里得空间。尽管术语 “流形’’ 有正式的数学定义，但是机器学习倾向于更松散地定义一组 点，只需要考虑少数嵌入在高维空间中的自由度或维数就能很好地近似。

简单来说就是这一系列的点它的走向，比如说直线，二次曲线这样，将所有的点用条曲线串起来这样。

如果我们希望机器学习算法学习整个 Rn 上有趣变化的函数，那么很多机器学 习问题看上去都是无望的。流形学习(manifold learning)算法通过一个假设来克服 这个障碍，该假设认为 Rn 中大部分区域都是无效的输入，有意义的输入只分布在包 含少量数据点的子集构成的一组流形中，而学习函数的输出中，有意义的变化都 着流形的方向或仅发生在我们切换到另一流形时。

就是说我看要有偏向性，比如说地球在整个空间中是个球体流形，但是我就从一个面去看他，就只是二维空间中的一个圆。

8.噪声

实际输入数据中基本都存在噪声。

主要有两种：标记错误（是恶性的标记成良性）和输入错误（年收入1万写成1000）。

9.深度前馈网络

也叫作 前馈神经网络(feedforward neural network)或者 多层感知机(multilayer perceptron, MLP)，是典型的深度学习模型。前馈网络的目标是近似某个函数 f∗。例如，对于分类器，y = f∗(x) 将输入 x 映射到一个类别 y。前馈网络定义了一个映射 y = f (x; θ)，并且学习参数 θ 的值， 使它能够得到最佳的函数近似。

这种模型被称为 前向(feedforward)的，是因为信息流过 x 的函数，流经用于 定义 f 的中间计算过程，最终到达输出 y。在模型的输出和模型本身之间没有 反馈 (feedback)连接。

前馈神经网络被称作 网络(network)是因为它们通常用许多不同函数复合 在一起来表示。

10.输入层，输出层，隐藏层

输入层：前馈网络第一层。

输出层：前馈网络最后一层。

隐藏层：输入层和输出层中间的。

二.问题

1.为什么只要在要学习的真实函数的峰值和谷值处有足够多的样本，那么平滑性假设和 相关的无参数学习算法的效果都非常好。