极限学习

1、Extreme learning machine, ELM

2、基于前馈神经网络，通常使用单层前馈神经网络（Single Layer Feedforward neuron Network, SLFN）

3、特点是输入层与隐藏层之间的连接权值可以随机或人为给定的，且不需调整；隐藏层与输出层之间的连接权值不需要迭代调整，通过解方程一次性确定；具有效率高、范化能力强的特点，多用于特征学习、聚类、回归等。

4、原作者：南洋理工大学的Guang-Bin Huang等人

此处采用岭回归来求解输出权重，

参考：简单易学的机器学习算法——极限学习机(ELM)

简单易学的机器学习算法——岭回归(Ridge Regression)

极限学习机

示例：

import numpy as np
import matplotlib.pyplot as plt


def sigmoid(a, b, x):
    '''
    定义Sigmoid函数: g(z) = 1/(1+e^-(ax+b))
    '''
    return 1.0 / (1 + np.exp(-1.0 * (x.dot(a) + b)))


def ELM_prototype(X, T, C, n, L):
    '''
    回归问题的ELM标准算法
    变量：X - 输入数据；样本数x特征数（N*n）
           ：H - 输出矩阵；样本数x隐含层节点数（N*L）
           ：T - 学习目标；样本数x输出层节点数（N*M）
           ：C - 正则化系数
    '''
    # 随机初始化
    a = np.random.normal(0, 1, (n, L))
    b = np.random.normal(0, 1)
    # 使用特征映射求解输出矩阵
    H = sigmoid(a, b, X)
    # 计算输出权重和输出函数
    HH = H.T.dot(H);
    HT = H.T.dot(T)
    beta = np.linalg.pinv(HH + np.identity(L) / C).dot(HT)
    Fl = H.dot(beta)
    # 返回计算结果
    return beta, Fl


# 测试：构造输入值和训练目标（输入变量n=2; 输出变量m=1）
x1 = np.linspace(1, 20, 150)
x2 = np.linspace(-5, 5, 150)
X = np.vstack([x1, x2]).T
T = np.sin(x1 * x2 / (2 * np.pi)) + np.random.normal(0, 0.2, 150)
# 使用ELM算法进行学习（隐含层节点数L=100; 正则化参数C=1e5）
beta, Fl = ELM_prototype(X, T, C=1e5, n=2, L=100)
# 绘制学习结果
fig1 = plt.figure('fig1')
plt.plot(x1, T, lw=1.5, label='Training goal')
plt.plot(x1, Fl, lw=3, label='ELM output')
plt.legend()
plt.show()
plt.savefig('result.png')
plt.close()