简单易学ELM

转载 2015年11月20日 11:25:50

[原]简单易学的机器学习算法——极限学习机(ELM)

2014-4-24阅读10858 评论23

一、极限学习机的概念

    极限学习机(Extreme Learning Machine) ELM,是由黄广斌提出来的求解单隐层神经网络的算法。

    ELM最大的特点是对于传统的神经网络,尤其是单隐层前馈神经网络(SLFNs),在保证学习精度的前提下比传统的学习算法速度更快。

二、极限学习机的原理

ELM是一种新型的快速学习算法,对于单隐层神经网络,ELM 可以随机初始化输入权重和偏置并得到相应的输出权重。


(选自黄广斌老师的PPT)

对于一个单隐层神经网络(见Figure 1),假设有个任意的样本,其中。对于一个有个隐层节点的单隐层神经网络可以表示为


其中,为激活函数,为输入权重,为输出权重,是第个隐层单元的偏置。表示的内积。


     单隐层神经网络学习的目标是使得输出的误差最小,可以表示为


即存在,使得


可以矩阵表示为


其中,是隐层节点的输出,为输出权重,为期望输出。



为了能够训练单隐层神经网络,我们希望得到,使得


其中,,这等价于最小化损失函数


传统的一些基于梯度下降法的算法,可以用来求解这样的问题,但是基本的基于梯度的学习算法需要在迭代的过程中调整所有参数。而在ELM算法中, 一旦输入权重和隐层的偏置被随机确定,隐层的输出矩阵就被唯一确定。训练单隐层神经网络可以转化为求解一个线性系统。并且输出权重可以被确定


其中,是矩阵的Moore-Penrose广义逆。且可证明求得的解的范数是最小的并且唯一。

三、实验

    我们使用简单易学的机器学习算法——Logistic回归》中的实验数据。

原始数据集
我们采用统计错误率的方式来评价实验的效果,其中错误率公式为:
对于这样一个简单的问题,
MATLAB代码
主程序
%% 主函数,二分类问题

%导入数据集
A = load('testSet.txt');

data = A(:,1:2);%特征
label = A(:,3);%标签

[N,n] = size(data);

L = 100;%隐层节点个数
m = 2;%要分的类别数

%--初始化权重和偏置矩阵
W = rand(n,L)*2-1;
b_1 = rand(1,L);
ind = ones(N,1);
b = b_1(ind,:);%扩充成N*L的矩阵

tempH = data*W+b;
H = g(tempH);%得到H

%对输出做处理
temp_T=zeros(N,m);
for i = 1:N
    if label(i,:) == 0
        temp_T(i,1) = 1;
    else 
        temp_T(i,2) = 1;
    end    
end
T = temp_T*2-1;

outputWeight = pinv(H)*T;

%--画出图形
x_1 = data(:,1);  
x_2 = data(:,2);  
hold on  
for i = 1 : N  
    if label(i,:) == 0  
        plot(x_1(i,:),x_2(i,:),'.g');  
    else  
        plot(x_1(i,:),x_2(i,:),'.r');  
    end  
end

output = H * outputWeight;
%---计算错误率
tempCorrect=0;
for i = 1:N
    [maxNum,index] = max(output(i,:));
    index = index-1;
    if index == label(i,:);
        tempCorrect = tempCorrect+1;
    end
end

errorRate = 1-tempCorrect./N;

激活函数
function [ H ] = g( X )
    H = 1 ./ (1 + exp(-X));
end

黄老师提供的极限学习机的代码:点击打开链接

java基础概述——java基础

Java是SUN(StanfordUniversity Network,斯坦福大学网络公司) Java之父 -- 詹姆斯·高斯林(James Gosling) 1995...
  • zj3911507
  • zj3911507
  • 2014年06月25日 10:48
  • 325

简单易学的机器学习算法——极限学习机(ELM)

极限学习机(Extreme Learning Machine) ELM
  • google19890102
  • google19890102
  • 2014年04月24日 11:56
  • 64878

简单易学的机器学习算法——Logistic回归

一、Logistic回归的概述
  • google19890102
  • google19890102
  • 2014年05月12日 11:10
  • 9775

机器学习算法系列(一)--决策树

1、什么是决策树 决策树(Decision Tree)是在已知各种情况发生概率的基础上,通过构成决策树来求取净现值的期望值大于等于零的概率,评价项目风险,判断其可行性的决策分析方法,是直观运用概率分析...
  • fengxueniu
  • fengxueniu
  • 2017年06月26日 20:58
  • 274

机器学习23-密度聚类DBSCAN算法

一  局部密度 以样本i为中心,画dc长度的圆,如果超过m个,圆内有n个样本,则该点的样本密度为n。 以dc=5  m=4 为例 为了确保点离的越近,权值...
  • xinzhi8
  • xinzhi8
  • 2017年06月29日 15:07
  • 250

elm学习总结

学习了解ELM(极限学习机); (1)算法介绍 极限学习机,该算法随机产生输入层与隐含层的链接权值与隐含层神经元的阈值,并且在训练过程中无需调整,只要设置隐含层的神经元个数就可以得到最优解...
  • he_min
  • he_min
  • 2015年08月29日 16:23
  • 2615

机器学习___ELM

一.带有随机隐藏节点的单隐层前馈神经网络1.相关条件: N个不同样本(xi,tix_i,t_i), xix_i =[xi1,xi2,xi3,........,xin]T[x_{i1},x_{i2},x...
  • neu_chenguangq
  • neu_chenguangq
  • 2015年04月17日 21:16
  • 1470

angular初体验(简单易学,适合新手)

几个月前第一次听说了angularjs这个框架,那时并没有什么好感。因为我偏执的认为angular这个名字很晦涩,不易记忆和理 解。直到最近项目中要用到它,我又不得不开始学习它,并在一天天的使用中爱上...
  • u014326381
  • u014326381
  • 2015年08月20日 15:30
  • 1363

ELM(Extreme Learning Machine):超限学习机

定义极限学习机器( Extreme Learning Machine,ELM) 是神经网络研究中的一种算法,是一种泛化的单隐层前馈神经网络( Single-hidden Layer Feed forw...
  • Mosout
  • Mosout
  • 2017年01月03日 18:59
  • 1598

转载 elm中文手册

elm-lang 的中文手冊翻譯自 http://elm-lang.org/https://github.com/elm-lang/elm-compiler前言介紹函數式編程 (Functional...
  • pdsgr1996
  • pdsgr1996
  • 2017年06月06日 22:01
  • 491
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:简单易学ELM
举报原因:
原因补充:

(最多只允许输入30个字)