统计学习方法读书笔记
cool_bomb
这个作者很懒,什么都没留下…
展开
-
朴素贝叶斯法的学习与分类
基本方法:输入空间为n维向量的集合,输出空间为标记类的集合。训练数据集T={(x1,y1), (x2,y2),...,(xN,yN)}又P(X,Y)独立同分布产生。朴素贝叶斯法通过训练数据集学习联合概率分布P(X,Y).朴素贝叶斯法对条件概率分布做了条件独立性的假设。朴素贝叶斯法实际上学习到生成数据的机制,所以属于生成模型。条件独立假设等于是说用于分类的特征在类确定的条件下都是条件转载 2015-09-25 15:28:52 · 852 阅读 · 0 评论 -
k近邻模型
k近邻模型的三要素:距离的度量,k值的选取,分类决策规则的决定。k近邻算法中,当训练数据集,k值,距离度量方式,分类决策规则确定后,对于任何一个新输入的实例,可以唯一确定其分类。根据上述要素将特征空间划分为许多子空间,并确定子空间里每个点所属的类。特征空间中,对于每个训练实例点,距离该点比其他点更近的所有点组成了一个区域,叫单元(cell)。每个训练实例点拥有一个单元,所有训练实例点的转载 2015-09-23 10:32:59 · 1780 阅读 · 0 评论 -
k近邻算法
定义:给定一个训练数据集,对于新输入的实例,在数据集中找到k个与它最临近的实例。这k个实例多数属于某个类,就把该输入实例归为某个类。最临近算法:为k临近算法的特殊情况,当k=1时为最临近算法。找到和输入实例最近的那个实例,该实例所属的类就是输入实例的类。k临近法没有显示学习的过程。转载 2015-09-22 15:47:15 · 391 阅读 · 0 评论 -
感知机学习算法
感知机的学习问题转化为求解损失函数最优化问题,求解方法为随机梯度下降法。求参数w b,使其为损失函数极小化问题的解。感知机学习算法是误分类驱动的。首先,随机选取一个超平面w0,b0 然后用梯度下降法不断的极小化损失函数。极小化过程是一次随机选取一个误分类点,使其梯度下降。随机梯度下降法:https://zh.wikipedia.org/wiki/%E6%A2%AF%E5%BA%A6转载 2015-09-21 15:37:43 · 1981 阅读 · 0 评论 -
感知机学习策略
数据集的线性可分性如果存在某个超平面S能够将能够将正实例点和负实例点完全正确的划分到超平面的两侧。即对于所有的yi=1,w*xi+b>0 对于所有的yi=-1,w*xi+b假设训练数据集是线性可分的,感知机学习的目标就是求得一个能够将训练集正实例和负实例点完全正确分开的分离超平面。为了找出这样的超平面,需要确定一个学习策略,即定义损失函数并将损失函数极小化。损失函数的选择:1误分类转载 2015-09-21 14:00:13 · 1035 阅读 · 0 评论 -
感知机模型
输入表示实例的特征向量,对应于输入空间的点。输出表示实例的类别。输入空间到输出空间由如下函数表示:f(x)=sign(w*x+b)w和b称为感知机模型参数,w叫做权值向量,b叫做偏置。感知机是一种线性分类模型,属于判别模型。其假设空间是定义在特征空间中的所有线性分类模型。感知机的几何解释:w*x+b=0 该线性方程对应于特征空间Rn的超平面S,其中w是该平面的法向量,b是该平面转载 2015-09-21 10:47:06 · 840 阅读 · 0 评论 -
分类问题
分类问题是监督学习中的一个问题。当输出变量Y取有限个离散值时,预测问题就成为分类问题。此时X可以是离散的也可以是连续的。分类器是从数据中学习到的一个分类模型或者分类决策函数。可能的输出称为类。分类问题的两个过程:学习和分类。分类器的性能指标,准确率:分类器正确分类的样本数比上总样本数。二分类问题的评价指标: 精确率:(正类预测为正类)/(正类转载 2015-09-20 20:49:57 · 640 阅读 · 0 评论 -
回归问题
回归问题也是监督学习的问题。回归用于输入变量和输出变量之间的关系。回归模型表示从输入变量到输出变量之间映射的函数。回归问题等价于函数拟合:输出一条曲线,能够和好的拟合一直数据,并预测未知数据。回归问题按照输入变量的个数分为一元回归和多元回归。按照输入变量和输出变量之间关系的类型,分为线性回归和非线性回归。当回归问题的损失函数是平方损失函数时,可以转载 2015-09-20 22:37:25 · 643 阅读 · 0 评论 -
标注问题
标注问题是分类问题的一个推广,是更复杂的结构预测问题的一个简单的形式。输入是一个观测序列,输出是一个标记序列或者状态序列。其目的是学习一个模型,使得对于观测序列能够给出一个标记序列作为预测。注意标记个数是有限的,但其组合所成的标记序列的个数是随着序列长度成指数级增长的。学习系统基于训练数据集构建一个模型,表示为条件概率分布.p(Y1,Y2...YN|X1,X2...XN)转载 2015-09-20 22:07:28 · 3628 阅读 · 0 评论 -
编辑文章 - 博客频道 - CSDN.NET
泛化能力泛化误差1什么是泛化能力泛化能力是指由学习方法学习到的模型对未知数据的预测能力。2如何评价学习方法的泛化能力现实中采用最多的方法是利用测试集的误差来进行评价。但是由于测试集一般是有限的,因此很可能得到的评价结果不可靠。3泛化误差(generalization error)的定义模型对未知数据预测的误差,学习到的模型的期望风险。泛化误差上界1泛化误转载 2015-09-18 17:47:06 · 425 阅读 · 0 评论 -
生成模型与判别模型
监督学习的任务:学习一个模型,应用这个模型对给定的输入预测相应的输出。监督学习的两种方法:生成方法,判别方法。用这两种方法学到的模型称为生成模型和判别模型。生成方法:学习联合概率分布p(X|Y),求出条件概率分布。模型给定输入X,产生输出Y的生成关系。典型的生成模型:朴素贝叶斯,隐马尔科夫模型。判别方法:由数据直接学习决策函数或者条件概率分布,作为预测的模型。两种方转载 2015-09-19 22:32:39 · 446 阅读 · 0 评论 -
朴素贝叶斯法的参数估计
极大似然估计在朴素贝叶斯法中,可以使用极大似然估计法估计相应的概率。可以用极大似然估计去估计先验概率。贝叶斯估计:用极大似然估计可能会出现所要估计的概率值为0的情况。这时会影响到后验概率的结果。使分类产生误差。转载 2015-09-26 16:36:20 · 763 阅读 · 0 评论 -
k近邻算法的实现:kd树
当特征空间维度大,训练数据容量大时,如何对训练数据进行快速k近邻搜索。k近邻法最简单的实现方式是线性扫描,这时要计算输入实例与每一个训练实例的距离,当训练集容量大时计算太耗时,这种方法不可行。为了提高k近邻搜索的效率,可以利用特殊的结构来存储训练数据,以便减少距离的计算次数。kd树就是其中的一种存储结构。kd树:kd树定义:kd树是一种对k维空间中的实例进行存储,以便进行快转载 2015-09-23 15:44:44 · 1803 阅读 · 0 评论