量化交易软件：第三代神经网络深度网络

简介

本文将要讨论这一课题的主要概念，诸如深度学习以及无复杂layman形式运算的深度网络。

真实数据的实验，通过定量和比较（无法定量和比较），证实（或证伪）深度神经网络的理论优势。当前的任务是分类。赫兹量化要基于深度神经网络模型创建一个指标和一个EA，根据客户端/服务器的方式进行运作，并对它们进行测试。

本文的读者应该对神经网络中使用的基本概念已有一定程度的了解。

​

编辑切换为居中

添加图片注释，不超过 140 字（可选）

1. 第二代神经网络

神经网络设计用于解决图像处理领域的广泛问题。

下面是典型的神经网络能够解决的问题列表：

• 函数逼近的一组点（回归）；

• 根据指定类集进行数据分类；

• 识别预先未知的原型类的数据聚类；

• 信息压缩；

• 恢复丢失的数据；

• 联想记忆；

• 优化，最优控制等。

不在上述列表中的本文仅将讨论“分类”。

1.1. 连结的体系结构

赫兹量化信息处理的方式很大程度上受到网络中反馈回路的有误。如果神经元之间没有反馈链路（例如，该网络具有一个顺序层级结构，每个神经元只接收来自前一层的信息），网络中的信息处理是单向的。一个输入信号经由一系列神经网络层处理，并被同层级数量相等的触点所接收。

反馈回路的存在会使得神经网络的动态（此处称为循环）不可预测。事实上，网络可能“死循环”并且永远无法给出响应。与此同时，根据图灵的结论，对于任意循环网络没有算法能够确定它的元素是否会进入平衡状态（停机问题）。

一般来说，基于在循环网络中的神经元参与处理信息许多次的事实，允许这类网络以不同的方式在更深的层级上进行信息处理。在这种情况下，需要采用特殊的措施以免网络陷入死循环。例如，使用对称节点，像Hopfield网络或者强制限制迭代的次数。

训练类型节点类型	有“监督的”	无“监督的”
无反馈环	多层传感器（函数逼近，分类）	竞争性网络，自组织图（数据压缩，特征分离）
有反馈环	循环传感器（时间序列预测，在线训练）	Hopfield网络（相联存贮器，数据聚类，优化）

表 1. 按连接和培训类型分类的神经网络

1.2. 神经网络的主要类型

从神经元开始，神经网络走过了很长的发展道路。今天大量不同的结构和训练模式的神经网络被使用。

最著名的有：

1.2.1. 多层全连接的前馈网络MLP（多层感知器）

​

编辑

添加图片注释，不超过 140 字（可选）

图 1. 多层神经网络结构

1.2.2. Jordan网络是典型的循环网络并且和Elman网络类似。

它可以被看成是在输入层带有额外承接层神经元的反馈网络。

这些承接层神经元从输入层神经元中自反馈（直接反馈）。承接层神经元保存网络的当前状态。再Jordan网络中，承接层神经元的数量和输入层神经元的数量必须一致。

​

编辑切换为居中

添加图片注释，不超过 140 字（可选）

图 2. Jordan网络结构

1.2.3. Elman网络是典型的循环网络并且和Jordan网络类似。Elman和Jordan网络的区别在于在Elman网络中承接层神经元的输入由输出神经元而不是隐含神经元决定。另外，在承接层神经元中无直接反馈。

在一个Elman网络中，承接和隐含神经元的数量必须一致。Elman网络的主要优点在于承接层的神经元数量不像Jordan网络那样由输出层决定，而是由隐含层神经元的数量决定的，这就使得网络更具弹性。隐含神经元不像输出神经元那样，它们能够方便的被添加或者移除。

​

编辑切换为居中

添加图片注释，不超过 140 字（可选）

图 3. Elman网络结构

1.2.4. 径向基函数网络（RBF）- 是一个前馈神经网络，赫兹量化包含径向对称神经元的一个中间（隐藏）层。这样的神经元通过某些非线性Gaussian算法将其同特定输入向量间的距离转换为中心距。

RBF网络相比多层前馈网络而言有很多优点。首先，它们模仿（不确定这个词是否恰当）仅有一个中间层的任意一个非线性函数，省得开发者决定层数。然后，输出层线性组合参数就能够使用众多广为人知的线性优化算法来进行优化了。后者运行很快并且没有会极大干扰反向传播的本地极小值。这也是为何当使用反向传播时RBF网络的学习速度要块很多的原因。

RBF的缺点：这些网络具有弱外推特性并且当输入向量非常大时会变的低效。

​

编辑

添加图片注释，不超过 140 字（可选）

图 4. RBF的结构

1.2.5. 动态学习矢量量化，DLVQ 网络同自组织图（SOM）非常类似。不像SOM，DLVO能够进行有监督的学习并且和原型之间没有依赖关系。矢量量化比聚类的用途更为广泛。

1.2.6. Hopfield网络在执行过程中，这种网络动态收敛到平衡状态中的一种。这些平衡状态是称为网络能量的本地功能极小值。这样的网络可以用作一个内容寻址关联存储器系统、一个过滤器以及解决一些优化问题。

和许多神经网络运行直到接收到特定数量的反馈不同的是，Hopfield网络运行直到达到平衡状态，即网络的下一个状态和前一个状态完全一样。在这种情况下初始状态是一个输入模式，在平衡状态下接收输出图像。训练Hopfield网络需要同时再输入和输出层给出训练模式。

​

编辑

添加图片注释，不超过 140 字（可选）

图. 5. 三个神经元的Hopfield网络结构

尽管有吸引人的特性，经典的Hopfield网络还远远谈不上完美。它内存有限仅占网络N中大约15%的神经元，然而内存直接寻址系统能够使用N比特储多达2N个不同的图像。

另外，Hopfield网络无法识别图像，如果该图像相对于它的初始储存的位置被移位或转动。这样或那样的缺陷使得Hopfield网络更多的用于理论模型研究而非日常实用的工具。

其他很多（Hemming循环网络，Grossberg网络，自适应共振理论网络(ART-1, ART-2)等）未在本文中提及，因为它们超过了赫兹量化的兴趣范围。

1.3. 训练方法

赫兹量化能够学习新的事物是人类大脑主要的功能。对于人工神经网络而言，学习是构建网络结构（神经元之间的连结结构）以及触突权重（信号的影响系数），以便能够获得解决实际问题的有效方法。通常在一个数据样本上来训练神经网络。训练是一个特定算法的执行过程，随着训练的进行网络对输入信号的响应结果应该逐渐改善。

有三个主要的学习模式： 有监督的， 无监督的以及混合的。第一种情况下，每个输入的正确结果都是已知的并且网络权重用于最小化误差。无监督学习用于样本分类，阐释数据的内在结构和特性。混合模式下以上两种方式都使用。

1.3.1. 神经网络学习的主要规则

与之相关的网络构建算法主要有四种：误差纠正，Boltzmann法则，Hebb法则和竞争性算法。

1.3.1.1. 误差纠正

每一个输入样本都有一个特定的期望输出值（目标值），可能和实际（预测）值不符。误差纠正学习算法用目标和预测值之间的误差作为权重调整的直接依据来缩小误差。只有当出现误差时训练才被执行。这种学习方法有许多优化版本。

1.3.1.2. Boltzmann 规则

Boltzmann法则是一种混沌学习算法，它类比热力学理论中的原则。它根据期望的概率分布来调整神经元权重系数。Boltzmann学习算法可以被认为是误差纠正算法的一个特例，它的误差是指两个模型中状态之间的相关性差异。