1
当输入有小幅扰动时，深度学习方法会失效。例如当颜色改变之后，图像识别就可能会崩溃。
2
基于梯度优化的学习是非常慢的（除了慢，对于非凸的问题，梯度下降算法还可能陷入局部极值） 。需要许多许多步梯度下降才能捕获模式。高维预测十分困难。
3
深度学习方法难以处理约束条件。和线性规划不同，它不能找到满足约束条件的解。
4
复杂模型的训练是十分不稳定的。神经网络图灵机(Neural turing machines)和 生成式对抗网络常常训练失败，它们非常依赖初始的随机值。
5
和图模型不同，深度神经网络和现实世界难以对应。不能提取因果结构。例如，对于影响因素检测问题。给出议员投票数据集，要检测关键影响因素。在深度神经网络中很难清晰表达。
6
强化学习方法很难伺候。模型表现十分依赖调参技巧。但是这个问题只在特定条件下出现。
7
深度学习进行未知实体的推理是十分困难的。比如有一段击球手的视频，投手在画面外。
8
在深度神经网络技术的世界里，我们尚不清楚怎样推断投手的存在。
9
在线训练深度神经网络是很难的（参阅上文训练很慢的部分）。所以很难动态响应。
10
一般情况下，智能行为都是离线训练的。
11
人们常常提到深度网络的可解释性。我不认为这个问题像人们说的那样严重。但是，人类难以察觉深度网络学到的内容。我们凭什么保证偏见和种族主义的东西没有被学习到呢？看看那些讲 word2vec模型中的种族主义的文章吧。
12
深度神经网络在解决逻辑问题上遇到困难。3SAT 求解器功能十分强大，但是很难嵌入到深度网络中。
13
在处理尺度范围较大的特征时，深度神经网络的表现很差。和稳定的随机森林不同， 深度神经网络需要进行大量的特征调整。
14
超参数搜索也很可怕。工程师不但要进行繁重的计算，还需要大量的手工调整结构。
这绝不是一份详尽的清单。所有这些都是值得思考(和进一步研究)的问题。
还有一个重要的问题：这些问题是深度网络固有的，还是工程上需要克服的挑战？
讲真，这很难说。有一些问题似乎可以解决。更多的硬件设备可以使自动超参数搜索变得可行。
一些前期结构可以进行自动归一化（auto-normalize），处理大尺度范围数据，所以特征处理也可以提升。
但是，逻辑、约束、隐含层和审查方面的问题可能更为严重。
不过，我很希望被打脸。深度学习工程师们都才华横溢，富有想象力。
此外，摩尔定律目前对GPU的表现依然有效。（但是能持续多久呢？TPUs 和定制硬件能拯救我们吗？）
所以，我对于这些挑战还是相对乐观的。尽管如此，我怀疑深度网络对广义的智能来说是不够的。
不过这可能是我个人的偏见。专业的工程师在预测方面往往很糟糕。埋头苦干太长时间了，以至于只见树木，不见森林。
文章看完了？还想学习更多知识？欢迎加入我们的专业学习福利QQ群，群号：58879540
福利一：随时随地获得之前发放的所有教材（将近10个G的新手到高手教程）
福利二：优先获取各位大牛最新的学术论文、学术报告
福利三：优先获取国内外各大高校、研究机构的教学视频
福利四：不定期邀请知名学者、教授进群与大家交流
福利五：优先参与平台组织的各类线下活动、获取实物奖励等
扫一扫
563
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
