机器学习----理论部分(对于图解机器学习一书的笔记)
1.回归(是指对一个或多个变量和因变量之间的关系进行建模,求解的一种统计方法)
定义:回归是指把实函数在样本点附近加以近似的有监督的函数近似问题。这里,我们来考虑一下以d次方的实数向量x作为输入,实数值y作为输出的函数
y=f(x)的学习问题,在监督学习里,这里的函数关系f是未知的,作为输入数出
样本{{xi,yi}}(上标为n,下标为1)是已知的。
2.分类
定义:分类是指对已指定的模式进行有监督的模型识别问题,由已知的训练集,进行分类的过程分类并不存在类别1比类别3更接近于类别2这样的说法。分类问题只是单纯地对样本应该属于
哪个类别进行预测并且根据预测准确与否来衡量泛化误差,这一点与回归不同
3.异常检测
定义:指寻找输入函数样本{xi}(从1到n,下标为1,上标为n)中所包含的异常数据的问题在已知正常数据与异常数据的例子的情况下,其与有监督的分类问题是相同的,但是,在一般情况下,
在异常检测任务中,对于什么样的数据是异常的,什么样的数据是正常的,在事先是未知的,
在这样的无监督的异常检测中,一般采用密度估计方法,把靠近密度中心的数据作为正常的数据,把偏离密度中心的
数据作为异常的数据
4.聚类
定义:与分类问题相同,也是模式识别问题,但是属于无监督学习的一种,即只给出输入样本
{xi}(从1到n),然后判断各个样本分别属于1,2,....,c,中的那个簇。隶属于相同簇的样本之间具有相同的性质,反之,亦然。在聚类问题中们如何准确地计算样本之间的相似度是很重要的课题
注:聚类问题中经常以簇代替类别
5.降维
定义:是指从高维度数据中提取关键信息,将其转换为易于计算的低维度问题进而求解的方法,具体来说,当输入样本{xi}(从1到n)的维度d非常大的时候,可以把样本转换为较低维度的样本{zi}(从1到n)。线性降维的
情况下,可以使用横向量T将其转换为zi=Txi.降维,根据数据种类的不同,可以分为
监督学习和无监督学习两种,一般来讲输入输出样本已知的时候属于监督学习,可以将样本转换为较低维度的样本
从而获得更高的泛化能力,如果只有输入样本的时候属于无监督的学习,在转换为较低维度的样本以后,应该保持原始输入样本
的数据分布性质,以及数据间的近邻关系不发生变化。
6.机器学习主要流派简单介绍
a.生成的分类和识别的分类
在已知模式x的时候,如果能求得使分类类别y的条件概率p(y|x)达到最大值的类别y^的情况,就可以模式识别了y=argmax p(y|x)
在这里,”argmax"是取得最大值时的参数的意思,所以max y p(y|x)是指当y取得特定值时p(y|x)的最大值,在模式识别中,条件概率p(y|x)通常也称为
后验概率,上面的y^也称为y翰特,在基于统计分析的机器学习中,预测结果一般都以^符号来表示,应用训练集直接对后验概率p(y|x)进行学习的过程,成为判别式分类
另外可以把后验概率p(y|x)表示为y的函数:
p(y|x)=p(x,y)/p(x)∝p(x,y)
上式表明,发现模式x和类别y的联合概率p(x,y)与后验概率p(y|x)是成比例的,在模式识别中,联合概率p(x,y)也成为数据生成概率,
通过预测数据生成概率P(x,y)来进行模式识别的分类方法,称为生成的分类
注:有时候即使手头的信息量不足以解决一般性(即求解困难)的问题,但对于解决特定的问题,很可能是足够的。
比如,数据生成概率是已知的,那么就可以由公式推出后验概率,如果后验概率是已知的,却不能推导出数据生成概率
,在进行模式时,只要计算后验概率即可,在生成的分类中,则要计算数据生成概率p(x,y)这个一般性的问题,因此,识别的分类是比生成的分类更好的机器学习方法
b.统计概率和朴素贝叶斯理论
在本小节中,我们以包含参数θ的模型q(x,y;θ)为例,对计算数据生成概率的问题进行说明在统计概率的机器学习方法中,将模式θ作为决定论的变量,使用手头的训练样本对模式识别θ进行学习,在统计概率中
如何由训练集D得到高精度的θ是主要的的研究课题,而在朴素贝叶斯方法中,将模式θ作为概率变量
对其先验概率p(θ)加以考虑,计算与训练集D对应的后验概率p(θ|D),在朴素贝叶斯算法中,如何计算
后验概率是一个主要的研究课题
本次理论部分主要讲解基于频率派的识别式机器学习算法,并对其中的算法进行介绍,而不介绍产生式机器学习算法
和朴素贝叶斯学派的机器学习算法。
后续持续更新....欢迎交流!