人工机器：TM、VNM和NTM的内存机制

        NTM使用读写头上的多个权值实现“注意力聚焦”机制，形式化描述内存寻址过程；此外使用FN或者RNN作为状态寄存器和读写TABLE控制器，用于处理输入、输出权值向量。

图灵机：

       图灵机就是指一个抽象的机器，它有一条无限长的纸带，纸带分成了一个一个的小方格，每个方格有不同的颜色。有一个机器头在纸带上移来移去。机器头有一组内部状态，还有一些固定的程序。

       在每个时刻，机器头都要从当前纸带上读入一个方格信息，然后结合自己的内部状态查找程序表，根据程序输出信息到纸带方格上，并转换自己的内部状态，然后进行移动。

图灵机的结构：

图灵的基本思想（同样来自于历史决定论）是用机器来模拟人们用纸笔进行数学运算的过程，他把这样的过程看作下列两种简单的动作：

       1.在纸上写上或擦除某个符号；

       2.把注意力从纸的一个位置移动到另一个位置；

而在每个阶段，人要决定下一步的动作，依赖于 (a)此人当前所关注的纸上某个位置的符号和（b)此人当前思维的状态。

 

为了模拟人的这种运算过程，图灵构造出一台假想的机器，该机器由以下几个部分组成：

       1.一条无限长的纸带 TAPE。纸带被划分为一个接一个的小格子，每个格子上包含一个来自有限字母表的符号，字母表中有一个特殊的符号表示空白。纸带上的格子从左到右依此被编号为 0,1,2,... ，纸带的右端可以无限伸展。

      2.一个读写头 HEAD。该读写头可以在纸带上左右移动，它能读出当前所指的格子上的符号，并能改变当前格子上的符号。

      3.一套控制规则 TABLE。它根据当前机器所处的状态以及当前读写头所指的格子上的符号来确定读写头下一步的动作，并改变状态寄存器的值，令机器进入一个新的状态。

       4.一个状态寄存器。它用来保存图灵机当前所处的状态。图灵机的所有可能状态的数目是有限的，并且有一个特殊的状态，称为停机状态。参见停机问题。

注意这个机器的每一部分都是有限的，但它有一个潜在的无限长的纸带，因此这种机器只是一个理想的设备。图灵认为这样的一台机器就能模拟人类所能进行的任何计算过程。

       在某些模型中，读写头沿着固定的纸带移动。要进行的指令（q1）展示在读写头内。在这种模型中“空白”的纸带是全部为0 的。有阴影的方格，包括读写头扫描到的空白，标记了1,1,B 的那些方格，和读写头符号，构成了系统状态。（由Minsky (1967) p.121 绘制）。

 

AI的图灵机描述

        系统论里面把状态转化命名为演化或者发展，智能的表现为朝着既定方向的状态进行有目的的转换（可分离步骤、即有序）。具有自我智能描述为状态主体可以设定目标状态描述，并通过控制自身机制来主导自身状态向目标转换。

        智能划分为更多的层次，逐渐加入更多的智能元素延伸出不同的定义，公认的表观类人类智能的描述为可通过图灵测试的人工智能。

        AI的图灵机描述即是自我智能暂时没有恰当的形式化确定自动机描述。图灵机内部状态寄存器和外部状态纸带分别模拟自我智能的内部状态和环境状态，通过控制规则操作读写头交互完成特定向特定状态的转换。

        已发现的智能产生的模式理论上都可以用图灵机描述并进行模拟，因此图灵机可以描述现有的所有的智能系统。

冯诺依曼机

        冯诺依曼等一些科学家及工程师逐步发展出一种数据（状态）和运算（演化）分离的计算体系，其中硬件系统被称为冯诺依曼机。冯诺依曼机的组成：存储器 +运算器 +控制器+输入设备+输出设备。其主要特征为：数字计算机的数制采用二进制；计算机应该按照程序顺序执行。

T机与M机的关系

冯诺依曼机实现了以下功能：

       1.把需要的程序和数据送至计算机中。必须具有长期记忆程序、数据、中间结果及最终运算结果的能力。能够完成各种算术、逻辑运算和数据传送等数据加工处理的能力。   

       2.能够根据需要控制程序走向，并能根据指令控制机器的各部件协调操作。能够按照要求将处理结果输出给用户。

计算机科学家与工程师延续冯诺依曼构架设计的计算机有通用的描述，把计算机划分为硬件系统和软件系统，其中冯诺依曼机特指硬件系统。

       1.图灵机的内部状态转换机制中独立出来软件系统，软件系统代表了一些列状态转换的中层策略，上层接口用于描述问题空间，下层接口用于操作指令。一些列问题状态空间的转换策略，通过问题描述接口翻译为系统策略，再逐层翻译为操作机制，即特定有序的指令操作集合，进而操纵冯诺依曼机硬件系统完成系统状态转换。

       2.读写头映射为I/O系统，计算机通过I/0系统进行内部状态与外部状态的交互。

       3.图灵机的状态存储器独立出存储器，外存系统作为内存系统的延伸，表示为长期存储固定状态，可以理解为状态机的时间冻结，没有一般意义（对于图灵机没有时间意义）。存储器即内存系统，即代表了图灵机的状态存储器。

       4.图灵机的控制规则TABEL，在冯诺依曼系统中可描述为运算器和控制器，控制本质上也是运算，只是对外表示为控制的功能。

       现代通用计算机的结构可一般描述为CPU结构（控制器群-运算器和控制器）、存储结构（寄存器、内存和外存等-存储器）、输入输出设备（接口群-输入输出）。

寻址机制

1.图灵机寻址机制

       一套控制规则TABLE。它根据当前机器所处的状态以及当前读写头所指的格子上的符号来确定读写头下一步的动作，并改变状态寄存器的值，令机器进入一个新的状态。

       TABLE并未详细阐明规则的复杂度，和读写头的规则可控制性。

       通用图灵机(UTM, Universal Turing Machine)，简称UTM，是一款能够模拟其它所有图灵机的图灵机。对于任意一个图灵机，因为它的描述是有限的，因此我们总可以用某种方式将其编码为字符串。我们用 <M>表示图灵机 M 的编码。

       我们可以构造出一个特殊的图灵机，它接受任意一个图灵机 M 的编码<M> ，然后模拟M 的运作，这样的图灵机称为通用图灵机(Universal Turing Machine）。现代电子计算机其实就是这样一种通用图灵机的模拟，它能接受一段描述其他图灵机的程序，并运行程序实现该程序所描述的算法。但要注意，它只是模拟，因为现实中的计算机的存储都是有限的，所以现实UTM无法跨越有限状态机的界限。

2.冯诺依曼机寻址机制

       冯诺依曼机把规则分离为指令规则和内存寻址规则，其中内存寻址规则通过简单的内存控制器实现，由指令的尾部直接定位到内存地址。

       从指令的角度看，指令执行是顺序的，内存寻址方式是固定的。指令附带的二进制内存编码可以直接定位到内存位置，取内存处指令长度的数据，执行下一条指令。

       冯诺依曼结构图灵机使用计算与存储分离的运算结构，每条指令由运算指令和寻址指令构成，寻址过程通过逻辑电路寻址——查找矩阵逻辑门电路直接定位内存位置，在系统级别可以视为是无耗时的。其中32位指令，若完全用于寻址，可以遍历2^32位内存空间，即4*(2^8)^10^10bit的内存，即4GB内存；附加短运算指令的指令一般可遍历内存为3.6GB。64位指令集理论上可遍历(4GB)^32大小的内存空间。

3.NTM寻址机制

       单从寻址机制方面查看，NTM不使用固定的寻址机制，使用注意力聚焦的方式进行内存定位，在寻址逻辑上进行改变，底层机制文章中试验为前馈网络和递归网络。

       从神经网络的逻辑层面分析，神经图灵机包含两个基本组成部分：神经网络控制器和记忆库，控制器通过输入输出向量和外界交互。不同于标准神经网络的是，控制器还会使用选择性的读写操作和记忆矩阵进行交互。类比于图灵机，我们将网络的参数化这些操作的输出称为“读头”。输入向量和网络结构影响注意力的聚焦，决定寻址位置。

3.1注意力聚焦寻址机制

       神经网络图灵机架构包含两个基本组件：神经网络控制器和内存池。图1展示了NTM的一个高层逻辑流程图。像多数神经网络，控制器通过输入输出向量与外界交互，但不同于标准网络的是，它还与一个带有选择性读写操作的内存矩阵进行交互。类似于图灵机，我们将执行读写操作的网络输出称为“头/读写头”。

    

        至关重要地是，架构中的每个组件都是可微分的，这可直接使用梯度下降训练。

        为此，我们定义了“模糊”读写的概念，即可以通过更多或者更少的权重（可到达度）与内存中的全部元素进行交互（而不是单一元素寻址操作，通用图灵机和数字计算机中使用此操作）。“模糊度”的由注意力“聚焦”机制确定，此机制约束/限定 每一个读/写操作交互到 一小片内存，同时忽略其他部分。由于与内存的交互高度离散，NTM网络更偏向于/擅长存储数据同时很少受到干扰。带入注意力焦点的内存地址由读写头上的特定输出决定。

        这些输出定义了一个归一化的权值，通过内存矩阵的每一行（称为内存“地址集合”）。每个读写头上附有的每一个权值，定义了它的读写头在各个地址的读写比重。由此，一个读写头，既可以精确访问单一地址，也可以弱定位在各个内存位置。

        综上所述， NTM使用读写头上的多个权值实现，形成一个多维向量，每一维向量表示关联到特定区域内存的读写权重，并由此决定要读写的内存地址。此处是NTM有别于通用图灵机的地方。实现此机制的控制器为神经网络控制器，用于处理输入、输出多维读写权重向量。

3.2 神经网络控制器

Controller Network控制网络

       以上描述的NTM架构有三个自由参数，包括内存的大小，读写头的数量，允许的地址位移范围。但也许最重要的架构选择是选用怎样的用作控制器的网络模型。尤其是，我们可以决定使用前馈网络(FN)还是递归网络(RN)。诸如LSTM这样的一个递归控制器拥有自己的内部存储器，这个存储器可以对矩阵中更大的存储器起到补充作用。如果将控制器比作数字计算机的中央处理器单元(尽管比先前定义可能更适合)，将内存矩阵比作RAM，那么递归网络的隐藏激活神经元们（hidden activations)就像/are akin to类似于 是处理器的寄存器。他们允许控制器在跨时间操作时能够共享mix信息。

        另一方面，一个前馈控制器可以模拟递归网络（通过每一时刻都读写同一地址来）。进一步说，前馈控制器通常给予网络操作更大的透明度，因为对内存矩阵的读写模式通常比RNN的内部状态 更容易解释。然而，前馈网络的一个局限性是并行读写头的数量（有限个线性读写头只能读特定数量的内存），在执行计算任务时会成为瓶颈。一个单一读出头在每个时刻只能对每个内存向量执行一元变换，而两个读出头就可以二元向量变换，以此类推。递归控制器则能够存储上一时刻的读出的向量，因此不会受到这个限制。

 

总结：

        把机制与策略分离，关于图灵机的寻址策略和寻址机制，图灵机暂时描述的不是特别清楚？还是理解的不够？