MATLAB机器学习系列-8 极限学习机(Extreme Learning Machine, ELM)原理及其代码实现

最新推荐文章于 2024-07-05 21:39:09 发布
最新推荐文章于 2024-07-05 21:39:09 发布
阅读量5.4k 收藏 76
点赞数 11
分类专栏： C++和MATLAB系列 文章标签： matlab 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kobeyu652453/article/details/109351763
版权

极限学习机(Extreme Learning Machine, ELM)

极限学习机网络结构和BP网络结构类似。 和BP神经网络不同点：
  1. 极限学习机输入层到隐含层的权重W是可以随意指定的。BP神经网络W层需要在学习时进行调整，而极限学习机不需要调整。由于不需要调整，大大加快了速度。
  2. 极限学习机的隐含层到输出层的权重B也不需要迭代调整，而是通过解方程组的方法求出权重。

原理
前向传播图见下
T为目标输出，g为激活函数

把上图简洁化，写成矩阵，H为输入层与隐含层相乘的结果

该算法创造者认为如果隐含层神经元个数等于输入样本个数相等，则
HB -T 矩阵范数为0,0误差。

如果隐含层的神经元个数小于待学习的样本个数，模型可以以一定精度学习，即模型的误差小于一定的值

权重学习流程

  1. 第一步：随机产生输入层到隐含层之间的权重值W和阈值（偏置）b
  2. 第二步：计算隐含层的输出矩阵H
  3. 第三步：求解隐含层和输出层之间权重B，因为HB-T的矩阵范数为0，则求解公式如下

因为可能存在H的逆矩阵不存在的情况，导致最后B没有解，当时作者提出这个算法的时候给出的解决方法是求伪逆矩阵。
现在的解决方法，如图

在H后面加上一个小块矩阵，使
可逆。
则权重解为

极限学习机相比于BP神经网络，SVM有什么特征

  • 易用性。除了预定义的网络架构外，不需要手动调优任何参数
  • 更快的学习速度。大多数训练可以在毫秒、秒和分钟内完成
  • 更高的泛化性能。在大多数情况下，该算法比BP算法具有更好的泛化性能与SVM相似或优于SVM的泛化性能。
  • 适用于几乎所有的非线性激活函数。几乎所有分段连续(包括不连续)微分、非微分函数)可作为激活函数使用。BP神经网络要求激活函数可导可微分。
  • 适合于完全复杂的激活函数。完全复杂函数也可以作为激活函数使用ELM。

极限学习机( ELM)仿真

重点函数

  • nargin：n arg in：自动计算出方法输入了几个参数
  • error：给出错误信息
  • pinv：求伪逆矩阵
  • sin / hardlim：涉及到激活函数
  • elmtrain 自己写的函数，用于ELM训练，记住：每一列代表一个样本

elmtrain.m

function [IW,B,LW,TF,TYPE] = elmtrain(P,T,N,TF,TYPE)
% ELMTRAIN Create and Train a Extreme Learning Machine
% Syntax
% [IW,B,LW,TF,TYPE] = elmtrain(P,T,N,TF,TYPE)
% Description
% Input
% P   - Input Matrix of Training Set  (R*Q)
% T   - Output Matrix of Training Set (S*Q)
% N   - Number of Hidden Neurons (default = Q)
% TF  - Transfer Function:
%       'sig' for Sigmoidal function (default)
%       'sin' for Sine function
%       'hardlim' for Hardlim function
% TYPE - Regression (0,default) or Classification (1)
% Output
% IW  - Input Weight Matrix (N*R)
% B   - Bias Matrix  (N*1)
% LW  - Layer Weight Matrix (N*S)
% Example
% Regression:
% [IW,B,LW,TF,TYPE] = elmtrain(P,T,20,'sig',0)
% Y = elmtrain(P,IW,B,LW,TF,TYPE)
% Classification
% [IW,B,LW,TF,TYPE] = elmtrain(P,T,20,'sig',1)
% Y = elmtrain(P,IW,B,LW,TF,TYPE)
% See also ELMPREDICT
% Yu Lei,11-7-2010
% Copyright www.matlabsky.com
% $Revision:1.0 $
if nargin < 2
    error('ELM:Arguments','Not enough input arguments.');
end
if nargin < 3
    N = size(P,2);
end
if nargin < 4
    TF = 'sig';
end
if nargin < 5
    TYPE = 0;
end
if size(P,2) ~= size(T,2)
    error('ELM:Arguments','The columns of P and T must be same.');
end
[R,Q] = size(P);
if TYPE  == 1
    T  = ind2vec(T);
end
[S,Q] = size(T);
% Randomly Generate the Input Weight Matrix
IW = rand(N,R) * 2 - 1;
% Randomly Generate the Bias Matrix
B = rand(N,1);
BiasMatrix = repmat(B,1,Q);
% Calculate the Layer Output Matrix H
tempH = IW * P + BiasMatrix;
switch TF
    case 'sig'
        H = 1 ./ (1 + exp(-tempH));
    case 'sin'
        H = sin(tempH);
    case 'hardlim'
        H = hardlim(tempH);
end
% Calculate the Output Weight Matrix
LW = pinv(H') * T';

elmpredict.m

function Y = elmpredict(P,IW,B,LW,TF,TYPE)
% ELMPREDICT Simulate a Extreme Learning Machine
% Syntax
% Y = elmtrain(P,IW,B,LW,TF,TYPE)
% Description
% Input
% P   - Input Matrix of Training Set  (R*Q)
% IW  - Input Weight Matrix (N*R)
% B   - Bias Matrix  (N*1)
% LW  - Layer Weight Matrix (N*S)
% TF  - Transfer Function:
%       'sig' for Sigmoidal function (default)
%       'sin' for Sine function
%       'hardlim' for Hardlim function
% TYPE - Regression (0,default) or Classification (1)
% Output
% Y   - Simulate Output Matrix (S*Q)
% Example
% Regression:
% [IW,B,LW,TF,TYPE] = elmtrain(P,T,20,'sig',0)
% Y = elmtrain(P,IW,B,LW,TF,TYPE)
% Classification
% [IW,B,LW,TF,TYPE] = elmtrain(P,T,20,'sig',1)
% Y = elmtrain(P,IW,B,LW,TF,TYPE)
% See also ELMTRAIN
% Yu Lei,11-7-2010
% Copyright www.matlabsky.com
% $Revision:1.0 $
if nargin < 6
    error('ELM:Arguments','Not enough input arguments.');
end
% Calculate the Layer Output Matrix H
Q = size(P,2);
BiasMatrix = repmat(B,1,Q);
tempH = IW * P + BiasMatrix;
switch TF
    case 'sig'
        H = 1 ./ (1 + exp(-tempH));
    case 'sin'
        H = sin(tempH);
    case 'hardlim'
        H = hardlim(tempH);
end
% Calculate the Simulate Output
Y = (H' * LW)';
if TYPE == 1
    temp_Y = zeros(size(Y));
    for i = 1:size(Y,2)
        [~,index] = max(Y(:,i));
        temp_Y(index,i) = 1;
    end
    Y = vec2ind(temp_Y); 
end

分类
鸢尾花侯种类识别
这个数据集网上很多，就不放啦

main_iris.m

%% I. 清空环境变量
clear all
clc

%% II. 训练集/测试集产生
%%
% 1. 导入数据
load iris_data.mat

%%
% 2. 随机产生训练集和测试集
P_train = [];
T_train = [];
P_test = [];
T_test = [];
for i = 1:3
    temp_input = features((i-1)*50+1:i*50,:);
    temp_output = classes((i-1)*50+1:i*50,:);
    n = randperm(50);
    % 训练集——120个样本
    P_train = [P_train temp_input(n(1:40),:)'];
    T_train = [T_train temp_output(n(1:40),:)'];
    % 测试集——30个样本
    P_test = [P_test temp_input(n(41:50),:)'];
    T_test = [T_test temp_output(n(41:50),:)'];
end

%% III. ELM创建/训练
[IW,B,LW,TF,TYPE] = elmtrain(P_train,T_train,20,'sig',1);

%% IV. ELM仿真测试
T_sim_1 = elmpredict(P_train,IW,B,LW,TF,TYPE);
T_sim_2 = elmpredict(P_test,IW,B,LW,TF,TYPE);

%% V. 结果对比
result_1 = [T_train' T_sim_1'];
result_2 = [T_test' T_sim_2'];
%%
% 1. 训练集正确率
k1 = length(find(T_train == T_sim_1));
n1 = length(T_train);
Accuracy_1 = k1 / n1 * 100;
disp(['训练集正确率Accuracy = ' num2str(Accuracy_1) '%(' num2str(k1) '/' num2str(n1) ')'])

%%
% 2. 测试集正确率
k2 = length(find(T_test == T_sim_2));
n2 = length(T_test);
Accuracy_2 = k2 / n2 * 100;
disp(['测试集正确率Accuracy = ' num2str(Accuracy_2) '%(' num2str(k2) '/' num2str(n2) ')'])

%% VI. 绘图
figure(2)
plot(1:30,T_test,'bo',1:30,T_sim_2,'r-*')
grid on
xlabel('测试集样本编号')
ylabel('测试集样本类别')
string = {'测试集预测结果对比(ELM)';['(正确率Accuracy = ' num2str(Accuracy_2) '%)' ]};
title(string)
legend('真实值','ELM预测值')

回归
汽油辛烷值预测

%% I. 清空环境变量
clear all
clc

%% II. 训练集/测试集产生
%%
% 1. 导入数据
load spectra_data.mat

%%
% 2. 随机产生训练集和测试集
temp = randperm(size(NIR,1));

% 训练集——50个样本
P_train = NIR(temp(1:50),:)';
T_train = octane(temp(1:50),:)';

% 测试集——10个样本
P_test = NIR(temp(51:end),:)';
T_test = octane(temp(51:end),:)';
N = size(P_test,2);

%% III. 数据归一化
%%
% 1. 训练集
[Pn_train,inputps] = mapminmax(P_train);
Pn_test = mapminmax('apply',P_test,inputps);
%%
% 2. 测试集
[Tn_train,outputps] = mapminmax(T_train);
Tn_test = mapminmax('apply',T_test,outputps);

%% IV. ELM创建/训练
[IW,B,LW,TF,TYPE] = elmtrain(Pn_train,Tn_train,30,'sig',0);

%% V. ELM仿真测试
tn_sim = elmpredict(Pn_test,IW,B,LW,TF,TYPE);
%%
% 1. 反归一化
T_sim = mapminmax('reverse',tn_sim,outputps);

%% VI. 结果对比
result = [T_test' T_sim'];
%%
% 1. 均方误差
E = mse(T_sim - T_test);

%%
% 2. 决定系数
N = length(T_test);
R2=(N*sum(T_sim.*T_test)-sum(T_sim)*sum(T_test))^2/((N*sum((T_sim).^2)-(sum(T_sim))^2)*(N*sum((T_test).^2)-(sum(T_test))^2)); 

%% VII. 绘图
figure(1)
plot(1:N,T_test,'r-*',1:N,T_sim,'b:o')
grid on
legend('真实值','预测值')
xlabel('样本编号')
ylabel('辛烷值')
string = {'测试集辛烷值含量预测结果对比(ELM)';['(mse = ' num2str(E) ' R^2 = ' num2str(R2) ')']};
title(string)

代码和数据百度云

链接：https://pan.baidu.com/s/1o08kfLvUN3n5pYyE9ycfWg 
提取码：q9vz 
复制这段内容后打开百度网盘手机App，操作更方便哦

在这里插入图片描述
作者：电气工程的计算机萌新-余登武
在这里插入图片描述

总裁余(余登武)
关注
  • 11
    点赞
  • 踩
  • 76
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
极限学习机原理（含公式推导透彻）
观则明的博客
05-08 3450
主要介绍elm极限学习机的原理及公式推导
ELM.zip_ELM_elm code_极限学习机_黄广斌_黄广斌elm代码
07-14
极限学习机的matlab代码，黄广斌教授
极限学习机（Extreme Learning Machine，ELM）及其Python和MATLAB实现
最新发布
qq_45441438的博客
07-05 923
在训练过程中只需优化输出层到隐藏层的连接权重即可。self.input_weights = np.random.rand(input_size, hidden_size) # 初始化输入层到隐藏层的连接权重。self.input_weights = np.random.rand(input_size, hidden_size) # 初始化输入层到隐藏层的连接权重。self.beta = np.random.rand(hidden_size, num_classes) # 输出层到隐藏层的连接权重。
极限学习机(Extreme Learning Machine,ELM)详解
山里娃的博客
12-23 8851
极限学习机的提出目的是为了解决人工神经网络训练时耗费的时间和高成本。对此，2004年由南洋理工大学的黄广斌提出了ELM学习理论。
极限学习机（ELM）
m0_72410588的博客
05-10 4902
在机器学习领域，我们常常需要通过训练数据来学习一个函数模型，以便在未知的数据上进行预测或分类。传统的神经网络模型需要大量的参数调整和迭代优化，学习效率很低。极限学习机（Extreme Learning Machine, ELM）是一种基于随机化的单层前向神经网络，其学习速度快、精度高、易于实现等诸多优点，成为近年来研究热点。本篇文章将详细介绍极限学习机的原理及应用，并给出相应的代码实现。
极限学习机ELM原理与实现
qq_43790749的博客
11-01 1万+
极限学习机（ELM）用来训练单隐藏层前馈神经网络（SLFN）与传统的SLFN训练算法不同，极限学习机随机选取输入层权重和隐藏层偏置，输出层权重通过最小化由训练误差项和输出层权重范数的正则项构成的损失函数，依据Moore-Penrose（MP）广义逆矩阵理论计算解析求出。理论研究表明，即使随机生成隐藏层节点，ELM仍保持SLFN的通用逼近能力。在过去的十年里，ELM的理论和应用被广泛研究，从学习效率的角度来看，极限学习机具有训练参数少、学习速度快、泛化能力强的优点。
matlab elmtrain,ELM代码matlab
weixin_29268267的博客
03-24 1101
Elmtrain.m(训练代码)function[IW,B,LW,TF,TYPE]=elmtrain(P,T,N,TF,TYPE)%ELMTRAIN Create and Train a Extreme Learning Machine %Syntax%[IW,B,LW,TF,TYPE]=elmtrain(P,T,N,TF,TYPE)%Description%Input%P-Input Matri...
极限学习机(Extreme Learning Machine)ELM
xiatianyunzi的博客
09-12 9788
二、ELM 1、算法介绍及功能 极限学习机(Extreme Learning Machine) ELM是一种针对单隐含层前馈神经网络(Single-hiddenLayerFeedforwardNeuralNetwork,SLFN)的神经网络的算法。最大的特点是输入权值和隐含节点的偏置都是在给定范围内随机生成的，被证实学习效率高且泛化能力强。训练时的主要目的在于输出层的权值求解。 EL...
极限学习机（ELM） 算法及MATLAB程序实现
weepon的博客
11-06 4万+
极限学习机        单隐藏层反馈神经网络具有两个比较突出的能力：  （1）可以直接从训练样本中拟 合 出 复 杂 的 映 射 函 数f :x ^ t  （2 ）可以为大量难以用传统分类参数技术处理的自然或者人工现象提供模型。但是单隐藏层反馈神经网络缺少比较快速的学习方 法 。误差反向传播算法每次迭代需要更新n x(L+ 1) +L x (m+ 1 )个 值 ，所花费的时间远远低于所
7941939Extreme-Learning-Machine_ELM_matlab_极限学习机_machinelearning
09-29
极限学习机（Extreme Learning Machine, ELM）是一种高效、快速的机器学习算法，它主要应用于前馈神经网络（Feedforward Neural Networks）。ELM的核心思想是随机初始化隐藏层节点的权重和偏置，然后通过单次训练...
Code_ELM_matlab极限学习机源码_machinelearning_
09-29
极限学习机(Extreme Learning Machine, ELM)是一种高效的人工神经网络学习算法，它在机器学习领域具有广泛的应用。在MATLAB环境中实现ELM，可以为数据分类、回归和其他复杂任务提供快速且准确的解决方案。下面我们将...
Matlab与机器学习入门 进阶与提高07 极限学习机（Extreme Learning Machine, ELM）.zip
07-28
极限学习机（Extreme Learning Machine, ELM）是机器学习领域的一种快速、高效的算法，尤其在神经网络模型中应用广泛。本教程重点讲解如何在Matlab环境中实现ELM，并通过实例来提升对机器学习的理解和应用技能。 ...
ELM.rar_ELM matlab_matlab elm_极限学习_极限学习机_极限学习机 ELM
09-14
极限学习机(Extreme Learning Machine, ELM)是一种高效、快速且具有强大非线性学习能力的机器学习算法，尤其在神经网络领域应用广泛。ELM理论由G. H. Huang等人提出，它解决了传统反向传播神经网络训练时间过长的...
极限学习机（ELM）从原理到程序实现（附完整代码）
思绪无限的博客
06-07 10万+
摘要：极限学习机（ELM）是当前一类非常热门的机器学习算法，被用来训练单隐层前馈神经网络（SLFN）。本篇博文尽量通俗易懂地对极限学习机的原理进行详细介绍，之后分析如何用MATLAB实现该算法并对代码进行解释。本文主要内容如下：算法的原理、算法程序实现、点击跳转至全部文件下载页
极限学习机(extreme learning machine, ELM)的回归拟合及分类(matlab实现)
配电网和matlab的博客
07-10 2790
然而，传统的学习算法(如BP算法等)固有的一些缺点，成为制约其发展的主要瓶颈。本章将介绍一个针对SLFN的新算法——极限学习机(extreme learning machine, ELM),该算法随机产生输入层与隐含层间的连接权值及隐含层神经元的阈值，且在训练过程 中无需调整，只需要设置隐含层神经元的个数，便可以获得唯一的最优解。随着研究的深入，一些专家提出了许多改进方法，如在线学习ELM、进化ELM等，同时，一些学者将其他算法中的思想(如SVM中的结构风险最小等)引入ELM中，亦取得了不错的效果。
一文看懂25个神经网络模型
热门推荐
刘炫320的博客
06-17 24万+
1. 引言在深度学习十分火热的今天，不时会涌现出各种新型的人工神经网络，想要实时了解这些新型神经网络的架构还真是不容易。光是知道各式各样的神经网络模型缩写（如：DCIGN、BiLSTM、DCGAN……还有哪些？)，就已经让人招架不住了。因此，这里整理出一份清单来梳理所有这些架构。其中大部分是人工神经网络，也有一些完全不同的怪物。尽管所有这些架构都各不相同、功能独特，当我在画它们的节点图时……其中潜在
机器学习 | MATLAB实现ELM极限学习机elmtrain参数设定
关注并私信文章链接，获取对应文章源码和数据，机器学习之心的博客。
11-04 1124
机器学习 | MATLAB实现ELM极限学习机elmtrain参数设定
简单易学的机器学习算法——极限学习机(ELM)
null的专栏
04-24 13万+
极限学习机(Extreme Learning Machine) ELM
通俗易懂的极限学习机(Extreme Learning Machine)
qq_42145985的博客
07-07 6322
什么是极限学习机（Extreme Learning Machine，ELM）？如果你不想深究它，只想知道它是什么、有什么优点的话，那我告诉你： 极限学习机就是个特殊的前向传播网络或者叫前馈神经网络，那么它特殊在哪呢？ （1）输入层和隐含层的连接权值、隐含层的阈值可以随机设定，且设定完后不用再调整：普通的前馈神经网络都需要使用反向传播来一轮又一轮的修改优化参数，但是ELM不是，它的权重值可以随机设定，而且设定后就不用再调整了，这最起码比反向传播减少了相当一部分的计算量。 （2）：隐含层和输出层之间的连接权值β
matlab ELM极限学习机
09-27
ELM极限学习机（Extreme Learning Machine）是一种基于前馈神经网络构建的机器学习方法。它最早由南洋理工大学的Guang-Bin Huang、Qin-Yu Zhu和Chee-Kheong Siew提出，并在2004年发表于IEEE国际交互会议中。ELM的目的是改进反向传播算法（BP）以提升学习效率和简化参数设定。ELM的特点是隐含层节点的权重为随机或人为给定的，且不需要更新，学习过程仅计算输出权重。因此，ELM在实际使用中比传统BP网络具有更快的训练速度。 至于ELM极限学习机在MATLAB中的实现，你提到了两个具体的应用场景：多特征分类预测和多输入单输出回归预测。针对这两个问题，可以在MATLAB中使用相关的ELM极限学习机的库或者自行实现算法。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

总裁余(余登武)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值