深度学习之后会是啥？

最新推荐文章于 2024-10-31 14:28:33 发布

小白学视觉

最新推荐文章于 2024-10-31 14:28:33 发布

阅读量201

点赞数

文章标签：神经网络大数据编程语言 python 机器学习

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

大数据文摘出品

来源：datasciencecentral

编译：Min

我们被困住了，或者说至少我们已经停滞不前了。有谁还记得上一次一年没有在算法、芯片或数据处理方面取得重大显著进展是什么时候？几周前去参加Strata San Jose会议，却没有看到任何吸引眼球的新进展，这太不寻常了。

正如我之前所报告的那样，似乎我们已经进入了成熟期，现在我们的主要工作目标是确保我们所有强大的新技术能够很好地结合在一起（融合平台），或者从那些大规模的VC投资中赚取相同的钱。

我不是唯一一个注意到这些的人。几位与会者和参展商都和我说了非常类似的话。而就在前几天，我收到了一个由知名研究人员组成的团队的说明，他们一直在评估不同高级分析平台的相对优点，并得出结论：没有任何值得报告的差异。

我们为什么和在哪里陷入困境？

我们现在所处的位置其实并不差。我们过去两三年的进步都是在深度学习和强化学习领域。深度学习在处理语音、文本、图像和视频方面给我们带来了了不起的能力。再加上强化学习，我们在游戏、自主车辆、机器人等方面都有了很大的进步。

我们正处于商业爆炸的最早阶段，基于诸如通过聊天机器人与客户互动来节省大量资金、个人助理和Alexa等新的个人便利应用、个人汽车中的二级自动化，比如自适应巡航控制、事故避免制动和车道维护。

Tensorflow、Keras和其他深度学习平台比以往任何时候都更容易获得，而且由于GPU的存在，比以往任何时候都更高效。

但是，已知的缺陷清单根本没有解决：

需要太多标签化的训练数据。
模型的训练时间太长或者需要太多昂贵的资源，而且还可能根本无法训练。
超参数，尤其是围绕节点和层的超参数，仍然是神秘的。自动化甚至是公认的经验法则仍然遥不可及。
迁移学习，意味着只能从复杂到简单，而不是从一个逻辑系统到另一个逻辑系统。

我相信我们可以列一个更长的清单。正是在解决这些主要的缺点方面，我们已经陷入了困境。

是什么阻止了我们

在深度神经网络中，目前的传统观点是，只要我们不断地推动，不断地投资，那么这些不足就会被克服。例如，从80年代到00年代，我们知道如何让深度神经网络工作，只是我们没有硬件。一旦赶上了，那么深度神经网络结合新的开源精神，就会打开这个新的领域。

所有类型的研究都有自己的动力。特别是一旦你在一个特定的方向上投入了大量的时间和金钱，你就会一直朝着这个方向前进。如果你已经投入了多年的时间来发展这些技能的专业知识，你就不会倾向于跳槽。

改变方向，即使你不完全确定应该是什么方向。

有时候我们需要改变方向，即使我们不知道这个新方向到底是什么。最近，领先的加拿大和美国AI研究人员做到了这一点。他们认为他们被误导了，需要从本质上重新开始。

这一见解在去年秋天被Geoffrey Hinton口头表达出来，他在80年代末启动神经网络主旨研究的过程中功不可没。Hinton现在是多伦多大学的名誉教授，也是谷歌的研究员，他说他现在 "深深地怀疑 "反向传播，这是DNN的核心方法。观察到人脑并不需要所有这些标签数据来得出结论，Hinton说 "我的观点是把这些数据全部扔掉，然后重新开始"。

因此，考虑到这一点，这里是一个简短的调查，这些新方向介于确定可以实现和几乎不可能实现之间，但不是我们所知道的深度神经网的增量改进。

这些描述有意简短，无疑会引导你进一步阅读以充分理解它们。

看起来像DNN却不是的东西

有一条研究路线与Hinton的反向传播密切相关，即认为节点和层的基本结构是有用的，但连接和计算方法需要大幅修改。

我们从Hinton自己目前新的研究方向——CapsNet开始说起是很合适的。这与卷积神经网络的图像分类有关，问题简单来说，就是卷积神经网络对物体的姿势不敏感。也就是说，如果要识别同一个物体，在位置、大小、方向、变形、速度、反射率、色调、纹理等方面存在差异，那么必须针对这些情况分别添加训练数据。

在卷积神经网络中，通过大量增加训练数据和（或）增加最大池化层来处理这个问题，这些层可以泛化，但只是损失实际信息。

下面的描述是众多优秀的CapsNets技术描述之一，该描述来自Hackernoon。

Capsule是一组嵌套的神经层。在普通的神经网络中，你会不断地添加更多的层。在CapsNet中，你会在一个单层内增加更多的层。或者换句话说，把一个神经层嵌套在另一个神经层里面。capsule里面的神经元的状态就能捕捉到图像里面一个实体的上述属性。一个胶囊输出一个向量来代表实体的存在。向量的方向代表实体的属性。该向量被发送到神经网络中所有可能的父代。预测向量是基于自身权重和权重矩阵相乘计算的。哪个父代的标量预测向量乘积最大，哪个父代就会增加胶囊的结合度。其余的父代则降低其结合度。这种通过协议的路由方式优于目前的max-pooling等机制。

CapsNet极大地减少了所需的训练集，并在早期测试中显示出卓越的图像分类性能。

多粒度级联森林

2月份，我们介绍了南京大学新型软件技术国家重点实验室的周志华和冯霁的研究，展示了他们称之为多粒度级联森林的技术。他们的研究论文显示，多粒度级联森林在文本和图像分类上都经常击败卷积神经网络和循环神经网络。效益相当显著。