个人问题为:
使用优化算法优化ELM的初始权重和阈值,优化之后效果还不如优化之前的好
个人分析:
由于数据只有100多组,样本较少,求解问题是简单问题,没有特别复杂的映射关系,所以在优化时,优化算法可能会专注于部分数据下的神经网络的参数,导致过拟合,未起到对网络的优化作用
解决办法:
将神经网络变小,减少隐藏层节点数,增大优化算法的搜索范围
(尝试过提前终止迭代,比如说直接限制最大迭代次数,或者在搜索时适应度值达到某个数就停止迭代,但是这种方法在交叉验证的时候对于不存在过拟合的数据集会降低优化算法的精度,并且对于存在过拟合的数据集不能解决过拟合的问题)