机器学习与神经网络（二）

机器学习与神经网络

神经网络架构介绍

体系结构：指将神经元连接在一起的方法
最常见的体系结构类型是：1、前馈神经网络；2、递归神经网络；3、双向对偶网络。
前馈神经网络：信息从输入单元层开始，朝着一个方向传递，通过隐藏层直至输出层（在实际中比较常用）。

如果（hidden units(隐藏层)）多于一层就称为深度学习。

递归神经网络：递归神经网络中信息循环流动，可以长时间的记忆信息，并且可以显示各种有意思的震荡（但是部分训练比较困难）。
递归神经网络分为结构递归神经网络和时间递归神经网络。从狭义上说，递归神经网络通常指结构递归神经网络，而时间递归神经网络则称为循环神经网络。
循环网络：。比前馈神经网络更强有力，并且可以长时间的记住隐藏信息。而且循环神经网络包含了非常复杂的参数动态变化，导致难以训练。

循环神经网络的图结构中包含了一定的有向环（如果以一个节点或神经元开始，再按照箭头指示进行下去，可能会回到那一个神经元或节点中）。
循环网络是时序数据建模的一种非常好的方法。因此我们拥有了隐藏单元之间的联系，而隐藏单元表现得就像以恶沉迷与时间中的网络。因此在每一个时刻，当时的隐藏单元的状态决定了在下一个时刻的隐藏单元的状态。
区别与于前馈神经网络的一个方面是：循环神经网络在每一个时刻都使用了相同的权值

双向对偶网络：该网络中，在两个单元中的两个方向里权重是相同的。在特定的任务上更容易添加约束条件，遵从一个能量函数。

感知器

感知器是人工神经网络中的一种典型结构， 它的主要的特点是结构简单，对所能解决的问题 存在着收敛算法，并能从数学上严格证明，从而对神经网络研究起了重要的推动作用。
感知机中的决策单元是一个二元阈值神经元。

感知器的几何空间解析

可以将训练样例表征为一个平面，学习的过程涵盖了求出所有样例平面所对应的权值向量。空间里面的点对应着加权向量，训练案例对应的是空间，特别的学习案例和权值取决于超平面的一条边。
加权空间图片：

这个练系案例在二维图片中定义了一个空间，这个空间只是一条穿过原点的黑色的线，并且与输入向量垂直（蓝色）这个案例的正确答案是1。这个训练案例中，加权向量需要在超平面的正确一边，并且为了得到正确答案，需要在超平面的同一边是练习模型所指的方向。像绿色的加权向量，它和输入向量所成角度要小于90°，所以输入向量和加权向量的内积是一个正数，由于已经减去了阈值，可以表明这是一个正向样例（也就意味着输出结果的概率值）。如果像红色的加权向量一样在平面的错误一侧与输入向量所成角将会大于90°，所以加权向量和输入向量的内积便会是负数，这就是一个负样例，感知器便会显示错误或显示0.
在平面的一侧所有加权向量都会得到正确的结果。在平面的另一侧，所有的加权向量都会得到错误的答案。

在这个案例中，正确的答案是0.这里也有一个加权空间，这里输入案例在一次对应用黑线表示的平面。在这个案例中，任意的权重向量都和输入向量的所成角都小于90°。而且给我们一个为正的梯级结果，所以感受器会显示正确或者是1，他就会得到错误的结果，相反，任何在平面的另一边的输入向量都会形成一个大于90°的角，而答案才会正确，且为0。由于之前穿过了原点这个平面是垂直于输入向量的，在平面的一侧所有的加权向量都是坏的，另一侧才是正确的。

将两个案例合在一起，在图中，任何可能的加权向量上都有一个锥平面，在锥平面里面的任意加权向量在这两个案例中都会得到正确的答案，但不会有像这样的代码出现，也不会有这样的加权向量在所有练习案例中都得到正确的答案。如果得到了一个对所有的练习案例都适用的向量，则这个向量在这个锥平面中，如果另一个加权向量也在锥平面中，则这两个加权向量的平均值也在这个锥平面上。

感知器的原理透析

这个案例我们希望的要求是每次感受器出错，我们元素的加权向量会更接近于所有的可行向量。

这里，我们定义一个全能可行的加权向量，这个加权向量不仅在所有练习案例中不出错，而且通过最少一个一定大小的间距就能得到正确答案。这个间距长度，在这个练习案例中和输入向量长度一样，所以我们取可行解的锥，而在里面我们有另一个锥形的全能可行的解决措施，这个措施就纠正了所有的错误，至少与输入向量的长度一样。这样，每次感知器出错的时候，所有可行的权向量的平方距离将至少减少更新向量的平方长度，也就是我们的更新内容。
因此，每次感受器出错，元素加权向量从每一个全能的可行向量移动，缩小了它的平方距离，是通过最小电流输入向量的平方长度完成的。所以因此，所有的全能的可行权重向量的平分距离都减少了平方长度。

感知器的局限性。

感知器的局限性来自于使用的各种特征，使用了错误的特征，就会限制于感知器学习特征的运行。
学习正确的特征：强调学习的难点。

我们需要在绿色案例在权值空间的一侧输出为1，需要红色案例在权值空间的一侧输出为0。