复值神经网络（complexNN）

1 什么是complexNN？

ComplexNN（Complex Neural Network Modules）是一个对基础神经网络模块进行复值化的GitHub开源项目。ComplexNN 在 PyTorch 框架下提供了复数形式的标准模块，无需任何额外的可训练参数。 该框架中各模块的参数和调用方式与PyTorch框架一致，无需额外的学习成本。

https://github.com/XinyuanLiao/ComplexNNhttps://github.com/XinyuanLiao/ComplexNN文章详细请参考复值神经网络（complexNN） - 知乎

2 复值神经网络有什么用？

2.1 动机

目前，最先进的复值神经网络库，如deep_complex_networks、complexPytorch等，都是通过利用两组参数来表示实部和虚部来实现复值网络模块。 这种实现方法不仅增加了参数数量，而且不利于梯度的反向传播，显著增加了训练难度。 由于PyTorch v1.7后支持了对复数的梯度计算，因此，我直接利用PyTorch实现了无额外参数的复值网络模块。

2.2 应用场景

• 复值神经网络在信号处理领域大有妙用，针对信号的幅值和相位可以进行有效计算。

• 深度状态空间模型（deep SSM）中状态常用复数形式（主要由于对角分解在复数域更通用的缘故），复值神经网络在大语言模型（LLMs）中也大有可为。并且在complexNN开源库中，我也实现了对LRU（Linear Recurrent Unit）的支持。

3 结语

希望大家不吝自己的小⭐⭐，给笔者点个小赞吧~

也希望有志之士可以帮忙完善complexNN这个开源库，如果有大佬能对复值神经网络进行CUDA实现就太好了！感谢大家支持！