【复数表达】Deep Complex Network

1. Introduction

来源：ICLR 2018，基于复数的深度网络
论文：https://arxiv.org/abs/1705.09792
代码：http://www.github.com/ChihebTrabelsi/deep_complex_networks

2. Motivation

2.1 现状

现有大部分的深度学习模块框架等操作都是基于实数表达和操作的。
然而，现有在循环神经网络或更早期的基础理论分析表明复数有着更丰富的表达能力，且可以促进对噪声鲁棒的记忆检索机制。但现阶段缺少这样的模型所需要的构建模块。

2. 2 复数表达特点

总体而言，基于复数的特征表达有以下几大特点：

1. 更易于优化的潜能
2. 更好的泛化特性
3. 学习更快
4. 允许噪声鲁邦的记忆机制

2.3 如何构建

需要思考两点：

1. 如何在神经网络里表示复数：y= a+bi
2. 如何进行卷积运算

2.4 贡献点

为了发觉复数表达的优势，提出来构建深度复数网络的一办公室，将其应用到了前馈和LSTM当中：

1. 复数Batch Norm
2. 复数权重初始化
3. 复数不同激活函数的比较
4. 在MusicNet多乐器上的验证试验
5. 在Speech Spectrum Prediction任务上的验证，TIMIT

3. Method

3.1 卷积操作

复数卷积核：

复数特征表示：

复数卷积过程（滤波过程）：

卷积过程的矩阵形式：

可视化描述：