深度学习深理解(七)-改善深度神经网络-第三周

总结一下今天的学习过程

超采纳数的选择原则

    学习率、或者采用衰减的学习率

    hidden unit  num 、 mini-batch-size

    layers num、momentum β（默认0.9） Adam β1，β2  E（默认  0.9，0.999，10e-8）

    采用随机均匀取值

    根据机器的性能：采用一种照看一个模型、同时实验多中模型

Batch 归一化：将细长的图形装换为同心的圆中

   有轻微的正则化效果

   含有小量的噪音

   不要将其作为规则看待

    只能处理一个mini-batch数据

softmax回归

了解一些深度学习框架

学习了thesorflow的一个例子

观看两个访谈

知晓了一些问题

  训练神经网络中的长期依赖问题

  反向传播不需要光滑非线性算法、非线性校正算法

  神经网络中的联合分布

  用初始化解决深度网络训练的难点

  基于注意力机制的神经网络机器翻译的研究

  穗时序依赖型可塑性

  信用分配

  怎么利用时间编码

 

美好的一天，明天加油！