深度学习论文分享:复值神经网络在实值分类任务中的应用

文章摘要

复值神经网络并不是一个新概念，然而，由于训练和性能方面的困难，使用实值模型往往比复值模型更受青睐。当比较实值与复值神经网络时，现有文献通常忽略参数的数量，从而导致神经网络与极大不同的比较。我们发现，当比较具有相似容量的真实和复杂神经网络时，复杂模型对于一系列实值分类任务执行等于或稍差于实值模型。复数的使用允许神经网络处理复杂平面上的噪声。当使用复值神经网络对实值数据进行分类时，权重的虚部遵循其实部。此行为对于不需要复值模型的任务具有指示性。我们在综合分类任务中进一步研究了这一点。我们可以使用不同的策略将许多激活函数从真实域转移到复杂域。然而，复杂神经网络的权重初始化仍然是一个重要问题。

文章引言

近年来，复值神经网络已成功应用于各种任务，特别是在信号处理，其中输入数据在复杂域中具有自然解释。复值神经网络通常与实值网络进行比较。我们需要确保这些架构在他们的模型大小和容量。比较的这一方面很少被研究或仅仅从表面上处理。一种其容量的度量标准是实值参数的数量。将复数引入模型会增加计算复杂度和实值参数的数量，但会假设权重和数据输入。本文探讨了具有可变深度和宽度的复值多层感知器（MLP）的性能。我们考虑实值的基准分类任务中的参数数量和激活函数的选择数据。我们提出了一个复杂值的多层感知器体系结构及其训练过程。我们认为各种激活函数以及复杂情况和实际情况下的实值参数数量。

我们建议构造可比网络的两种方法：

1. 通过为每层设置固定数量的实值神经元
2. 通过设置固定预算的实值参数。作为基准任务，我们选择MNIST数字分类[18], CIFAR-10图像分类[17]，CIFAR-100图像分类[17]

相关工作

克拉克首先正式描述了复值神经网络[8]。此后有几位作者提出梯度下降的反向传播算法的复杂版本[6，10，19]。受多值工作启发1970年代的阈值逻辑[1]，由Aizenberg等人定义了多值神经元和神经网络。[4，3]谁也将这个想法扩展到四元数。在2000年代，复杂的神经网络成功应用于各种任务[22、12、21、25]。这些任务主要涉及复杂值数据的处理和分析。或具有直观映射到复数的数据。特别是波形或傅立叶形式的图像和信号变换被用作复数值神经网络的输入数据[15]。复数的另一自然应用是在图像和信号处理中使用的卷积[7]。虽然真正的卷积在深度学习中广泛用于图像处理，但可以将其替换为复卷积[26、13、23、14]。复数和矩阵的属性可用于定义深度学习模型的约束。介绍了由Arjovsky等人撰写。 [5]，并由Wisdom等人进一步开发。 [29]约束的复值递归网络它们的权重为单一矩阵，减少了消失或爆炸梯度的影响。最近，复值神经网络已被用来学习作为图像和音频嵌入的过滤器信号[27、24、9]。此外，张量分解已应用于复杂的嵌入以预测边缘知识库实体之间的关系[28]。尽管取得了成功，但复杂的神经网络没有其实际值对应部分流行。潜在地，因为培训过程和体系结构设计的直观性较差，这源于更严格的要求激活函数在复平面上的可分性[31，16，20]。在将复值神经网络与实值神经网络进行比较时，许多出版物都忽略了参数总数[3]，仅比较整个模型的参数数目[26]，否则不比较区分复数值或实数值参数和单位[30]。从本文的角度来看比较等效于比较不同大小的模型。我们系统地探讨了考虑激活函数，宽度和深度的简单分类任务中的多层感知器。

复值网络

我们定义一个类似于其实际值对应部分的复杂值神经元，并考虑其结构和训练上的差异。 复杂神经元可以定义为：