![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
模式识别与机器学习
文章平均质量分 72
从零开始的奋豆
一名大学生
展开
-
模式识别与机器学习(十三):Stacking
在本次实验中以决策树、svm和随机森林为基学习器,以决策树为元学习器。Stacking的做法是首先构建多个不同类型的一级学习器,并使用他们来得到一级预测结果,然后基于这些一级预测结果,构建一个二级学习器,来得到最终的预测结果。Stacking的动机可以描述为:如果某个一级学习器错误地学习了特征空间的某个区域,那么二级学习器通过结合其他一级学习器的学习行为,可以适当纠正这种错误。具体步骤如下图所示:过程1-3 是训练出来个体学习器,也就是初级学习器。原创 2023-12-27 20:32:08 · 483 阅读 · 0 评论 -
模式识别与机器学习(十二):随机森林
随机森林(Random Forest, RF)是Bagging的一个扩展变体。RF在以决策树为基学习器构建Bagging集成的基础上,在决策树的训练过程中引入随机属性选择。训练每颗决策树时随机选出部分特征作为输入,所以该算法被称为随机森林算法。在RF中,对基决策树的每个结点,先从该结点的属性集合中随机选择一个包含k个属性的子集(假定有d个属性),然后再从这个子集中选择一个最优属性用于划分。参数k控制了随机性的引入程度,一般情况下推荐klog2d。原创 2023-12-26 13:30:51 · 665 阅读 · 2 评论 -
模式识别与机器学习(十一):Bagging
Bagging [Breiman, 1996a] 是井行式集成学习方法最著名的代表.从名字即可看出,它直接基于自助采样法(bootstrap sampling)。给定包含m 个样本的数据集,我们先随机取出一个样本放入采样集中,再把该样本放回初始数据集,使得下次采样时该样本仍有可能被选中,这样,经过m次随机采样操作,我们得到含m 个样本的采样集,初始训练集中有的样本在采样集里多次出现,有的则从未出现,初始训练集中约有63.2%的样本出现在来样集中。原创 2023-12-23 22:29:11 · 712 阅读 · 0 评论 -
模式识别与机器学习(十):梯度提升树
提升方法实际采用加法模型(即基函数的线性组合)与前向分步算法。以决策树为基函数的提升方法称为提升树(boosting tree)。对分类问题决策树是二叉分类树,对回归问题决策树是二叉回归树。θm其中,Tx;θm表示决策树,θm为决策树参数,M为树的个数。而梯度提升树的具体步骤如下:1.初始化f0x0,并选取损失函数Lyfx));2.对于m01⋯M−gmxi−∂f。原创 2023-12-23 22:23:42 · 1438 阅读 · 0 评论 -
模式识别与机器学习(九):Adaboost
AdaBoost是Adaptive Boosting(自适应增强)的缩写,它的自适应在于:被前一个基本分类器误分类的样本的权值会增大,而正确分类的样本的权值会减小,并再次用来训练下一个基本分类器。同时,在每一轮迭代中,加入一个新的弱分类器,直到达到某个预定的足够小的错误率或预先指定的最大迭代次数再确定最后的强分类器。各个弱分类器的训练过程结束后,加大分类误差率小的弱分类器的权重,使其在最终的分类函数中起着较大的决定作用,而降低分类误差率大的弱分类器的权重,使其在最终的分类函数中起着较小的决定作用。原创 2023-12-23 22:15:31 · 1291 阅读 · 0 评论 -
模式识别与机器学习(八):决策树
决策树(Decision Tree),它是一种以树形数据结构来展示决策规则和分类结果的模型,作为一种归纳学习算法,其重点是将看似无序、杂乱的已知数据,通过某种技术手段将它们转化成可以预测未知数据的树状模型,每一条从根结点(对最终分类结果贡献最大的属性)到叶子结点(最终分类结果)的路径都代表一条决策的规则。一般,一棵决策树包含一个根节点,若干个内部结点和若干个叶结点。叶结点对应于决策结果,其他每个结点对应于一个属性测试。原创 2023-12-23 21:38:46 · 1889 阅读 · 0 评论 -
模式识别与机器学习(七):集成学习
例如,如果有5个个体学习器,它们的权重分别为[0.2, 0.3, 0.1, 0.2, 0.2],则最终的预测结果是将个体学习器的预测结果乘以对应的权重后相加得到的。每个个体学习器对样本进行预测后,最终的预测结果是通过对个体学习器的预测结果进行平均得到的。然后,我们将数据集拆分为训练集和测试集。在集成学习中,个体学习器可以是同质的(使用相同的学习算法,但在不同的训练集上训练)或异质的(使用不同的学习算法)。每个基本学习器都是在不同的训练集上独立训练得到的,最后通过集成基本学习器的预测结果来进行最终的预测。原创 2023-12-02 22:59:47 · 1372 阅读 · 0 评论 -
模式识别与机器学习(六):数据降维
数据降维有很多种,这里我们列出几个较为简单的。原创 2023-11-20 00:03:41 · 75 阅读 · 0 评论 -
模式识别与机器学习(五):knn及MATLAB实现
我们把KNN算法写进名为knn的函数之中,便于我们训练。由上图可知我们选择k为1,准确率较高。原创 2023-11-15 23:56:04 · 256 阅读 · 0 评论 -
模式识别与机器学习(四):k折交叉法(k-fold cross validation)及matlab实现
最优的学习算法以及其超参数组合。原创 2023-11-15 22:37:40 · 703 阅读 · 1 评论 -
模式识别与机器学习(三):Fisher线性判别
现在从最直观的Fisher线性判别分析(linear diseriminant analysis,LDA)开始来一些最有代表性的线性判别方法。LDA是R. A. Fisher于1936年提出来的方法。两类的线性判别问题可以看作是把所有样本都投影到一个方向上,然后在这个一维空间中确定一个分类的阔值。过这个國值点且与投影方向垂直的超平面就是两类的分类面。 那么,如何确定投影方向呢?Fisher 线性判别的思想就是,选择投影方向,使投影后两类相隔尽可能远,而同时每一类内部又尽可能聚集。假设有N个样本,共有原创 2023-09-26 12:52:57 · 788 阅读 · 0 评论 -
模式识别与机器学习(二):贝叶斯分类matlab实现
估计分类样本的各个属性的概率分布估计先验概率估计属于该类别的概率并取最大值这里以正态分布为例。原创 2023-09-11 22:58:02 · 823 阅读 · 1 评论 -
模式识别与机器学习(一):隐马尔可夫模型(HMM)与贝叶斯网络
HMM模型可以用于数字通信领域,语音识别领域,生物信息领域等等,但是缺陷是模型的结构确定问题,如何在信息不充分的情况下得出有效的模型,这是一个十分困难的问题原创 2023-08-27 14:50:13 · 552 阅读 · 0 评论