浅论MLP、ELM、SVM的效果

最新推荐文章于 2024-04-13 22:52:46 发布
最新推荐文章于 2024-04-13 22:52:46 发布
阅读量9.6k 收藏 35
点赞数 12
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yfszzx/article/details/48749389
版权

这几天测试了MLP和ELM的效果，发现MLP明显优于ELM，就一直在思考其中的原因，昨天散步时突然想通了其中的道理。

MLP和ELM、SVM的本质，都是将问题映射到高维空间，然后在高维空间做回归或分类。
从原理上来说，分类或回归的效果，直接受到映射方式的影响，如果一个关键的模式，在高维空间上表现出明显的差异，分类效果就好，如果这个关键模式恰好没在高维空间上表现出来，效果就差。


从这个角度看，MLP的效果要优于ELM，ELM要优于SVM，因为MLP是主动寻找有效的映射方式，而ELM和SVM都是被动的映射，能不能找到好模式主要靠运气。


ELM之所以可以优于SVM，是因为它可以有无穷多种方式投影到高维，而且它训练速度非常快，我们可以训练一大堆ELM，从中选择比较好的一部分，然后再bagging，组合起来就可以加强效果。


最后再看SVM，一旦核函数定下来了，影射方式就唯一确定了，除非你选别的核函数。因此你只有一次或很少几次碰运气的机会，加上训练速度又慢，所以与SVM比起来，性能又下一筹。


把这个事情想通之后，就试了一下SVM的效果，果然如我预测，SVM的效果明显比ELM差

yfszzx
关注
  • 12
    点赞
  • 踩
  • 35
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
ELM 极限学习机与SVM支持向量机
hanzihan123的专栏
11-25 1万+
在上一篇《DeepLearning 的挑战： Extreme Learning Machine（超限学习机）？》 中介绍了一些ELM与DL 的一些比较，这篇主要介绍ELM的原理。 首先，ELM的核心就是将复杂的迭代过程转变为隐层参数随机产生。 其次，ELM 是一个神经网络，有输入层、隐藏层，输出层。 最后，ELM 的多分类效果优于SVM。   对于训练样本集{xi,ti}  i=1-N,
浅论软件需求分析.pdf
11-16
浅论软件需求分析.pdf
MLP、RBF、SVM网络比较及其应用前景
热门推荐
xiaoding133的专栏【Stay hungry,Stay foolish】
06-12 4万+
摘  要： 本文主要对MLP、RBF、SVM三种神经网络进行了详细的分析与讨论，从三种网络的结构、学习算法、功能和性能等方面进行了比较。同时，结合自己的研究方向讨论了三种结构的神经网络的应用前景。 1.      引言         神经网络(neural network，NN)是一个以有向图为拓扑结构的动态系统，它通过对连续或断续式的输入作状态响应而进行信息处理。是一个高度复杂的非线性动力
R语言中的神经网络预测时间序列：多层感知器（MLP）和极限学习机（ELM）数据分析报告...
拓端研究室TRL
08-18 119
原文链接：http://tecdat.cn/?p=23485用于R语言的多层感知器（MLP）和极限学习机（ELM）进行时间序列预测。请注意，由于神经网络无法利用GPU处理，因此大型网络的训练速度往往很慢。与现有神经网络实现的不同之处在于，R可以自动设计具有合理预测性能的网络。这增加了神经网络的鲁棒性，但也有助于减少训练时间。使用MLP进行预测使用R软件包，您可以生成外推（单变量）预测，也可以包含...
入门：多层感知器Multiple-Layer Perceiver, MLP
最新发布
m0_62110645的博客
04-13 1579
多层感知器（MLP）是一种具有较强非线性学习能力的人工神经网络，广泛应用于分类、回归和自然语言处理等领域。本文从MLP的基本概念、工作原理、激活函数、训练方法、应用领域、优缺点以及发展趋势等方面进行了简单的介绍。MLP的基本概念涉及了其作为人工神经网络的基本形式，包括输入层、隐藏层和输出层的结构。这种网络通过权重和偏置连接每层节点，并使用激活函数进行非线性变换。MLP的工作原理主要通过前向传播和反向传播两个步骤来实现。在前向传播中，数据从输入层经过隐藏层和输出层的处理，产生最终结果。
MLP神经网络，GRNN神经网络，SVM神经网络以及深度学习神经网络对比识别人体健康非健康数据
FPGA/MATLAB学习教程/源码/项目合作开发
07-31 4012
机器学习的研究是根据生理学、认知科学等对人类学习机理的了解，建立人类学习过程的计算模型或认识模型，发展各种学习理论和学习方法，研究通用的学习算法并进行理论上的分析，建立面向任务的具有特定应用的学习系统。对四种常用的机器学习算法，分为是MLP神经网络，GRNN神经网络，SVM神经网络以及深度学习神经网络进行识别性能的对比，而使用的特征数据为一组健康人群和非健康人群的身理特征数据，针对这些特征数据，本文同时提出了一种特征选择方法，从大量的特征数据中获得最为有效的特征数据作为健康人群和非健康人群的特征识别数据。.
ELM与SVM
weixin_38907330的博客
02-18 1835
本文是对模式识别作业的总结，主要偏重应用，附有代码 https://blog.csdn.net/lisi1129/article/details/70209945?locationNum=8&fps=1
R语言中的神经网络预测时间序列：多层感知器（MLP）和极限学习机（ELM）数据分析报告
大数据部落
08-18 2127
原文链接：http://tecdat.cn/?p=23485 用于R语言的多层感知器（MLP）和极限学习机（ELM）进行时间序列预测。请注意，由于神经网络无法利用GPU处理，因此大型网络的训练速度往往很慢。与现有神经网络实现的不同之处在于，R可以自动设计具有合理预测性能的网络。这增加了神经网络的鲁棒性，但也有助于减少训练时间。 使用MLP进行预测 使用R软件包，您可以生成外推（单变量）预测，也可以包含解释变量。 单变量预测 最简单的形式，您只需输入要建模的时间序列。 fit1 <-.
睡眠阶段分期——SVM和ELM分别与粒子群算法结合（main）
侧耳倾听
02-17 2699
摘要：本研究的目的是建立具有最佳准确率的分类模型,以心电图(ECG)信号为基础,使用心率变异性(HRV)特征来识别睡眠阶段。该方法是极端学习机器(ELM)和粒子群优化(PSO)的组合,用于特征选择和隐藏节点数的确定。ELM和PSO组合的2、3、4和6分类的测试精度分别为82.1%, 76.77%, 71.52%, 62.66%。本文还比较了ELM和支持向量机(SVM)方法,其测试精度低于ELM和...
有关ELM和SVM在使用过程中的问题
weixin_50642818的博客
10-26 335
最近在看别人使用ELM和SVM连接CNN的时候发现一点问题，这个组合我自己以前做过，没有查到多少资料，但是有一点是可以确认的。就是ELM和SVM无法进行反向传播，无法和CNN一起同步进行梯度下降的参数优化过程。然而貌似有几篇论文在介绍自己方法的时候写的好像能一起训练一样，不知道是他们理解的问题还是我真的搞错了。另外，ELM的方法好像争议很大，而且我自己用起来确实效果很一般，没那么神奇。正好看到一个帖子专门讨论这个，贴出来供大家参考。
浅论Linux的文件系统
01-19
引言  每个人都有次接触某件事物，或者对其不够熟悉。就如你现在是Linux菜鸟，现在你急需把一些文件从Windows拷贝到Linux上。那怎么办呢？下面我们将说明Unix文件系统以及mount的工作过程，然后再比较详细地讨论...
浅论阴阳太极与UML建模
02-27
火龙果软件工程技术中心 UML抽象、简洁、高于Java、C++诸等高级程序设计语言之上的形象表达，可以让我们真切领略到蕴藏于软件那纷繁芜杂的细节表面之后的一份简单、和谐之美。软件究竟是什么？...
浅论MES系统监控技术_陈海军.pdf
08-05
浅论MES系统监控技术_陈海军.pdf
MLP神经网络适合用于解决分类问题还是回归问题？
m0_37566886的博客
05-23 1102
多层感知机（Multilayer Perceptron，MLP）神经网络既可以用于解决分类问题，也可以用于解决回归问题。对于分类问题，MLP 的输出层通常使用 softmax 激活函数（对于多分类问题）或 sigmoid 激活函数（对于二分类问题）。对于回归问题，MLP 的输出层通常不使用激活函数，或者使用线性激活函数（即 f(x) = x）。对于隐藏层，也可以使用常用的激活函数，如 ReLU、sigmoid 或 tanh 等。总之，MLP 神经网络既可以用于解决分类问题，也可以用于解决回归问题。
机器学习之支持向量机 svm for beginners
littlecarton的博客
01-28 310
为什么叫支持向量机？ 先说Machine。SVM95年发表的时候叫Support Vector Network，为了和神经网络撇清关系，在98年改Network为Machine。 再说Support Vector。比如为了找一条线分开下图的猫和狗，我们能找到很多这样的线，但是哪一条才是最优的呢？     直观地看，我们只需要考虑几个特殊的点（红圈），这几个点之间的线基本都能分开全部的猫和狗...
mlp原来是这么回事
qq_62788195的博客
10-23 5595
mlp实际上就是一个拥有多层神经网络的所谓多层感知机，感知机都是用来分类的 由上图可知mlp最大的作用就是可以实现非线性的分类，而为什么可进行非线性分类，就是因为这个隐藏层进行了空间的转换，也就是我前一篇博客说的为了实现非线性必须要的操作。mlp缺点也挺多的，速度慢算一个，难怪nerf跑得这么慢
halcon 4种分类器（MLP,SVN,GMM,K-NN）优缺点：
fenglearning的博客
04-10 7805
HALCON分类器: 1、多层神经网络(MLP) /2、 支持向量机(SVM) ： 一种监督学习的方法，广泛用于统计分类及回归分析； /3、 K-最邻近 (K-NN) /4高斯混合类型(GMM) 4个分类器的主要优势和劣势如下: 多层感知机：MLP分类器会有一个好的识别率且分类速度更快。作为交换，其训练没有SVM分类快，尤其对于巨大量的训练集。如果分类耗时要求高，但训练可以连线应用的话，MLP方法是一个好的选择。一个拒绝类被返回，但是相比于GMM分类器，它可能会被利群点...
MLP和MAP辨析
Always1898的博客
03-13 1013
转载自http://blog.csdn.net/u011508640/article/details/72815981MAP（最大后验估计）和MLP（最大似然估计）MLP可以看做是参数先验估计为均匀分布的MAPMLP单纯要求似然函数最大，没有考虑参数可能具有先验分布。MLP求参数c使得P(x|c)最大，MAP求参数c使得P(x|c)P(c)最大，也就是得到的c不仅要似然函数大，自身先验概率也要大—...
浅论项目进程管理的重要性
05-04
项目进程管理是项目管理中至关重要的一部分，它涉及到项目的规划、执行、监控和控制等方面。项目进程管理的主要目的是确保项目按照预定的进度、质量、成本和范围等要求顺利进行，最终实现项目的目标。以下是浅论项目进程管理的重要性： 1. 保证项目按计划进行：项目进程管理可以帮助项目团队按照项目计划有序地进行工作，确保项目在规定的时间内完成，避免时间和进度的浪费。 2. 提高项目质量：项目进程管理可以帮助项目团队制定详细的工作流程和标准，规范项目实施过程，提高项目的质量和可靠性。 3. 控制项目成本：项目进程管理可以帮助项目团队及时发现和解决问题，减少项目的风险和变更，从而控制项目成本。 4. 提升项目管理效率：项目进程管理可以帮助项目团队实时监控项目进展情况，及时进行调整和优化，提高项目管理效率。 5. 促进沟通和协作：项目进程管理可以帮助项目团队更好地沟通和协作，确保项目各阶段的顺利衔接和协作，提高项目团队的整体协作能力。 综上所述，项目进程管理对于项目成功实施和达成目标至关重要，项目管理人员应该重视项目进程管理，确保项目能够按照计划有序进行。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值