一、通过p范数门(Lp-norm gate)的深度网络的快速训练方法
提出了一种灵活的p范数门控的方案,它允许用户控制流量,从而加快学习的速度。
增加信息传播的线性程度的方法是通过门控(gating),即,门是额外的控制单元,让部分信息通过通道。
例如:1.长—短周期记忆 (LSTM)
2.封闭复用单元 (GRU)
例:
其中:是控制非线性项的参数,
是控制线性部分的门,
是激活函数,
。
那么为什么要分线性部分和非线性的部分呢?
因为,非线性部分不断将输入转变为更复杂的输出,而线性部分保留输入的一部分。
接下来研究与
之间的关系
在残差网络(ResNet)中的(残差:观测值与估计值的差)
在LSTM中, 与
没有一个确定的关系。
在GRU中,有,这个关系可以看出,
到达1的速度与
到达0的速度相等防止信息过早传递。
提出了一种更加灵活的选通方案——,引入一个额外的超控制参数p, 可以用来调节两个参数之间的关系,通过调节p值的大小发现,当p的值增大,网络学习的速度会更快。
这里使用到的范数只是一种参数之间的度量关系,并没有实际的应用到控制系统中。
二、压缩感知(Compressed Sensing)应用于信号与图像的恢复中。
在稀疏优化中,出现了L0与L1约束,所以其他的Lp范数也可以很自然的出现;对于一些读者来说,使用p<1的范数可能看起来很奇怪;现在人们已经清楚具有如此小的p值的Lp范数是稀疏性的自然数学度量。
三、稀疏模型求解优化
对于范数来说,它本身的意义是集合中非0元素的个数。
问题描述:
考虑线性方程组求解:
其中
b的维数远小于x的维数,即,因此方程组中存在无穷解,但是真正有用的是稀疏解,即原始信号中拥有最小的零元素。
例如:
精确解只有10%的元素非零,所以解中非零元素最小的就是最优解,即:
但是求解复杂(不连续,只能是整数)
所以定义去替换
:
得到: