深度学习-面试知识点总结(日更五题 早更新晚温习)
如何设置网络的初始值?
一般总是使用服从(截断)高斯分布和均匀分布的随机值,初始值的大小会对优化结果和网络的泛化能力产生较大的影响,一些启发式初始化策略通常是根据输入和输出的单元数来决定初始权重的大小
梯度爆炸的解决办法?
梯度截断:梯度达到某一个阈值时对其进行限制
良好的参数初始化策略也能缓解梯度爆炸策略
使用线性整流激活函数,如relu
稀疏表示,独立表示,低维表示?
无监督学习任...
原创
2019-04-26 09:09:11 ·
404 阅读 ·
0 评论