Annotation
DN----Deep Net
SN----Shallow Net
Introduction
Theme: 用一个SN去模拟DN可不可以达到较好的效果？
思考：DN的效果为什么比SN好？
可能原因：1、DN参数多。2、DN层数多。3、卷积操作可以学到一些特殊的特征。4、目前的学习算法和正则化过程对DN更加有效。5、All of above 或者 None of above.
作者在文中给出了一个判断网络深度是否合适的方法，如果一个SN 和一个DN 拥有相同的参数规模，并且SN可以有很接近DN的结果，那么当前任务就不需要那么深的网络。
The subjects
TIMIT
Experiment
SoftMax 的输入为 logits， 输出为 probability， 训练SN时用logits.
原因：probability 给出的是softMax对目标的给分（如（0.01, 0.01, 0.98）），同一个对象的不同组给的分数差异很大，容易让SN忽略小分数。
Loss函数：
其中，
x
(
t
)
x^{(t)}
x(t)代表输入特征，
z
(
t
)
z^{(t)}
z(t)代表logits，
W
W
W是输入与隐藏层的权重，
β
\beta
β是隐藏层与输出之间的权重，
g
(
x
(
t
)
;
W
;
β
)
=
β
f
(
W
x
(
t
)
)
g(x^{(t)}; W; \beta )=\beta f(Wx^{(t)})
g(x(t);W;β)=βf(Wx(t))是第
t
t
t个训练点的预测。
为了限制通过网络的信息流和有效参数的数量，分解权重矩阵
W
∈
R
h
×
d
W\in R^{h\times d}
W∈Rh×d为
W
=
U
×
V
W=U\times V
W=U×V,得：
Result
PER: phone error rate
Structure
扫一扫
3906
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
