1
当输入有小幅扰动时,深度学习方法会失效。例如当颜色改变之后,图像识别就可能会崩溃。
2
基于梯度优化的学习是非常慢的(除了慢,对于非凸的问题,梯度下降算法还可能陷入局部极值) 。需要许多许多步梯度下降才能捕获模式。高维预测十分困难。
3
深度学习方法难以处理约束条件。和线性规划不同,它不能找到满足约束条件的解。
4
复杂模型的训练是十分不稳定的。神经网络图灵机(Neural turing machines)和 生成式对抗网络常常训练失败,它们非常依赖初始的随机值。
5
和图模型不同,深度神经网络和现实世界难以对应。不能提取因果结构。例如,对于影响因素检测问题。给出议员投票数据集,要检测关键影响因素。在深度神经网络中很难清晰表达。
6
强化学习方法很难伺候。模型表现十分依赖调参技巧。但是这个问题只在特定条件下出现。
7
深度学习进行未知实体的推理是十分困难的。比如有一段击球手的视频,投手在画面外。
8
在深度神经网络技术的世界里,我们尚不清楚怎样推断投手的存在。
9
在线训练深度神经网络是很难的(参阅上文训练很慢的部分)。所以很难动态响应。
10
一般情况下,智能行为都是离线训练的。
11
人们常常提到深度网络的可解释性。我不认为这个问题像人们说的那样严重。但是,人类难以察觉深度网络学到的内容。我们凭什么保证偏见和种族主义的东西没有被学习到呢?看看那些讲 word2vec模型中的种族主义的文章吧。
12
深度神经网络在解决逻辑问题上遇到困难。3SAT 求解器功能十分强大,但是很难嵌入到深度网络中。
13
在处理尺度范围较大的特征时,深度神经网络的表现很差。和稳定的随机森林不同, 深度神经网络需要进行大量的特征调整。
14
超参数搜索也很可怕。工程师不但要进行繁重的计算,还需要大量的手工调整结构。
这绝不是一份详尽的清单。所有这些都是值得思考(和进一步研究)的问题。
还有一个重要的问题:这些问题是深度网络固有的,还是工程上需要克服的挑战?
讲真,这很难说。有一些问题似乎可以解决。更多的硬件设备可以使自动超参数搜索变得可行。
一些前期结构可以进行自动归一化(auto-normalize),处理大尺度范围数据,所以特征处理也可以提升。
但是,逻辑、约束、隐含层和审查方面的问题可能更为严重。
不过,我很希望被打脸。深度学习工程师们都才华横溢,富有想象力。
此外,摩尔定律目前对GPU的表现依然有效。(但是能持续多久呢?TPUs 和定制硬件能拯救我们吗?)
所以,我对于这些挑战还是相对乐观的。尽管如此,我怀疑深度网络对广义的智能来说是不够的。
不过这可能是我个人的偏见。专业的工程师在预测方面往往很糟糕。埋头苦干太长时间了,以至于只见树木,不见森林。
文章看完了?还想学习更多知识?欢迎加入我们的专业学习福利QQ群,群号:58879540
福利一:随时随地获得之前发放的所有教材(将近10个G的新手到高手教程)
福利二:优先获取各位大牛最新的学术论文、学术报告
福利三:优先获取国内外各大高校、研究机构的教学视频
福利四:不定期邀请知名学者、教授进群与大家交流
福利五:优先参与平台组织的各类线下活动、获取实物奖励等