Very belief introduction

一、智能（Intelligence）

定义：通过某些标准，采取正确的决策。（例如：对于大多数动物来说，生存和繁衍）采取决策需要知识，通过interpret sensory data and use that information to take decisions。

 

二、人工智能

目前，计算机通过人们写的一些程序已经拥有了一些智能。但是有很多的任务，动物或者是人类非常容易能够做到，但是机器却无法做到。我们将所有这一类任务归入人工智能的范畴。为什么我们无法通过写程序来实现这些特定的任务？只要是这些任务所涉及到的知识是隐式的。现阶段，我们如何让机器获取这样的智能，主要是通过数据和例子（通过观察对于某一种要求或者输入，人类会采取什么的操作）。

 

三、机器学习

机器学习有很长的历史，有大量的教材来讲解它的基本原理：

Chris Bishop “Pattern recognition and Machine Learning” 2007

Simon Haykin “Neural Networks: a Comprehensive Foundation” 2009 (3rd edition)

Richard O. Duda “Pattern Classification” (2nd edition)

 

四、什么是学习

给定一组数据：

，n代表采样点的数目。每个点都是从未知的过程进行采样。

另外，我们还有损失函数（loss functional: L）有两个参数：决策函数f 和参数z，损失函数的返回值是一个实值型的标量。主要的目的是，在未知过程的情况下，最小化。

 

五、监督学习

有监督学习中，每个实例都是（input、target）Z=（X,Y），f以X为输入。

（1）回归（regression）：

Y是real-valued scalar 或者 vector。f函数的输出与Y相同的一组值。Loss function为

（2）分类（classification）：

Y是有限的整数，对应于类别号，是条件概率。通常用-log将loss function进行转化，概率值域为[0,1],进行log转化以后值域为,加了负号则为。

 

 

六、无监督学习

在无监督学习，主要是学习函数f来描述位置分布。有时f直接是自身的一个估计器（密度估计）。许多例子中，f试着描述哪边密度较集中，聚类算法将输入空间分割为区域（经常是集中围绕在一个典型事例或者centroid周围）。一些算法构建hard划分，例如（k-means），其他一些构建soft partition（Gaussian mixture model），软划分主要是对于Z中所有元素针对每一个cluster都分配概率。另外一些无监督学习算法构建Z的新的描述。许多深度学习算法属于这一类，主成分分析也是。

 

七、局部泛化（local generalization）

大多数算法使用一个简单的原则来实现泛化：

xi与xj 很近，那么f(xi)与f(xj)也会很近。这个原则可以用来做局部插值。

但是当训练数据比较少的时候，未知的目标函数包含更多的variations，这样的话上述原则就要行不通了。如果需要实现上述目标，数据采样要多，但是当数据维度比较高的时候，就会碰到curse of dimensionality.

 

八、Distributed versus local representation and no-local generalization

Kmeans 和 PCA、RBMs（Restricted Boltzmann Machines）

Kmeans描述分类的数目与参数呈线性关系

PCA、RBMs 描述分类的数据与参数呈指数关系。