深度学习基础--当前研究的挑战

当前研究的挑战

  1）RNN难以训练。有论文表明大量不同的RNN架构，其表现力是同等的，任何性能上的差异都是由于某些架构比其他架构更容易优化导致的；

  2）无监督难以训练，因为模型的输出通常（但不总是）更大——例如，1024 x 1024像素，巨大的语音和文本序列；

  3）GAN难以训练，但对目标函数进行了修改。原来Jensen-Shannon散度目标的简单修改：最小二乘法，absolute deviation with margin，还有Wasserstein距离；

  4）强化学习难以训练，而且也不稳定！因为优化随机性太强，我们甚至不能用不同的随机种子获得相同的结果；
  遗传算法是训练深度神经网络的一种有效替代方法，DQN、A3C、和进化策略（ES）也可以尝试。