深度学习的几个关键点

1. 理论问题

可表示 VS 可学习

深度模型更好的建模了非线性函数，但是需要多少样本，多少机器资源来实现，效果上的上下界是什么，理论上是否可以估计出来，这是很难的问题

 

2. 建模问题

图像，语音 都有一些成功的建模方法；自然语言处理更困难；为什么呢，从自然界生物语言能力的发展 严重滞后于 图像和听觉能力的进化可以一窥

建模方法上，最近的进展方方面，对自然语言处理的问题来说CNN，RNN具有更好的表达性，训练复杂度也更高，效果更好

 

3. 工程问题

DNN 普遍采用SGD（随机梯度下降）算法来训练，但SGD本身是不可并行的，所以这里存在一个工程实现的难题。

目前google采用 parameter server的方式来解决。Baidu采用 多GPU/和CPU MPI/PS三种可选的方式来解决

转载于:https://www.cnblogs.com/painmoth/p/4623785.html