宽度学习(一):宽度学习体系:有效和高效的无需深度架构的增量学习系统

Motivation

深度学习: 1,时间长:由于涉及到大量的超参数和复杂的结构,大多数神经网络的训练过程非常耗时。

                   2,重新训练:如果要更改神经网络的结构,或者增加样本,深度学习系统将遇到一个完整的重新训练过程。

宽度学习: 1,消除了训练过程长的缺点,并且提供了很好的泛化能力。

                   2,如果网络需要扩展,宽度学习网络可以快速重构,无需重新训练过程。

Preliminaries

1,RVFLNN

                                           

  • 给定输入X,它乘上一组随机的权重,加上随机的偏差之后传入到增强层得到H,并且这组权重在以后不会变了。
  • 输入X和增强层的计算结果H合并成一个矩阵,称为A,A=[X|H],把A作为输入,乘上权重,加上偏差之后传到输出层。
  • AW = Y,W=A-1Y,A不是一个方阵,所以是没有逆矩阵的,但是,没有逆矩阵,我们可以求A的伪逆。伪逆矩阵具有逆矩阵的部分特性,但并不完全等同。

2,伪逆和岭回归学习算法

在实际应用中,我们的样本可能有上百万个,特征也可能成千上万,这时ÿ

  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值