机器学习绪论

什么是机器学习？
就是让计算机具有像人一样的学习能力的技术，是从堆积如山的数据（也称为大数据）中找出有用知识的数据挖掘能力。

学习类型
计算机的学习，根据所处理的数据类型的不同，可以分为监督学习、无监督学习和强化学习等几种类型。

监督学习
根据在学习过程中获得的经验，对没有学习过的问题也做出正确的解答，使计算机获得这种泛化能力，是监督学习的最终目标。其在手写文字的识别、声音处理、图像处理、邮件垃圾分类与拦截、网页检索、基因诊断以及股票预测等几个方面有着广泛应用。
它的典型任务包括：预测数值型数据的回归、预测分类标签的分类、预测顺序的排序等等。

无监督学习
自动收集信息，获取其中的有用信息。它的学习目标不必什么明确。无监督学习在人造卫星故障诊断、视频分析、社交网站解析和声音信号解析等方面大显身手的同时，也可作为数据可视化以及监督学习的前处理。这一机器学习的典型任务有聚类、异常处理等。

强化学习
是在没有”老师”提示的情况下，自己对预测结果进行评估的办法。通过这样的自我评价，学生为了获得老师的最高嘉奖而不断进行学习。强化学习最认为是人类最主要的学习模式之一。

回归
回归，是指把实函数在样本点附件加以近似的有监督的函数近似问题。

分类
分类，是对与指定的模式进行识别的有监督的模式识别问题。在这里，以d维实向量x 作为输入样本，而所有的输出样本，可以划分为c个类别的问题来进行说明。
分类问题中的输出样本，并不是具体的实数，而是代表类别1，2,···，c。在这样的任务中，得到输出类别1,2,···，c的函数y=f(x)的过程，就是机器学习的过程。
因此，分类问题就也可以像回归问题那样，看做是函数的近似过程。
但分类问题只是单纯地对样本属于哪一个类别进行预测，并且根据预测结果来衡量泛化误差，这一点与回归是不同的。

异常检测
寻找输入样本中的异常数据。在已经正常与异常例子的情况下，和有监督的学习是一样的。但一般我们不知什么是正常数据，什么是异常数据。在这样的无监督的异常检测中，我们一般采用密度估计的方法，把靠近密度中心的数据作为正常的，偏离的作为异常的。

聚类
判断各个样本分别属于1，2,···c中的哪个簇，不同簇的样本之间具有不同的性质。在聚类问题中，如何准确计算样本之间的相似度是很重要的课题。

降维
是指从高纬度数据中获取关键信息，将其转换为易于计算的低维度问题进而求解的方法。如果只有高维输入样本已知，那么在将其转换为较低维度的样本之后，应该保持原始输入样本的数据分布性质以及数据之间的相邻关系不变。

学习模型
乘法模型是指，把一维的基函数作为因子，通过其相乘而获得多维基函数的方法。

加法模型是指，把以为的基函数作为因子，通过使其相加而获得多维基函数的方法。

乘法模型的变现力丰富，但是参数个数会随着输入维数d呈现出指数级别增长。加法模型是线性增加的，但其变现力又相对较弱。

核模型：是以使用被称为核函数的二元函数的线性结合方式加以定义的。其中高斯核函数的使用最为广泛。在高斯核函数中，因为只能在训练集的输入样本附近对函数进行近似，所以从某种程度上减轻了维数灾难的影响。
在统计学中，通常把基于参数的线性模型称为参数模型，把核模型称为非线性模型。

层级模型基函数通常采用S型函数。S函数模仿的是人类脑细胞的输入输出函数，因此也称之为人工神经网络模型。
核模型中的带宽和均值是固定的，但是在层级模型中，除了对耦合系数进行学习，也会对带宽和均值进行学习。
但人工神经网络以学习过程异常艰难而著称。这时采用贝叶斯方法是不错的选择。同时从临近样本的层级开始，一层一层进行无监督学习，就可以很好地进行人工网络的初始化操作。