计算理论基础：2、丘奇-图灵论题

什么是算法？算法就是图灵机

3.1 图灵机

图灵机用一个无限长的带子作为无限存储，它有一个读写头，能在带子上读、写和左右移动。图灵机开始运作时，带子上只有输入串，其他地方都是空的，如果需要保存信息，它可将这个信息写在带子上。为了读已经写下的信息，它可将读写头往回移动到这个信息所在的位置。机器不停地计算，直到产生输出为止。机器预置了接收和拒绝两种状态，如果进入这两种状态，就产生接收（accept)或拒绝(reject)，如果不能进入任何接收或拒绝状态，就继续执行下去，永不停止。

3.1.1 图灵机的形式化定义

$Def3.1$ 图灵机

图灵机是一个7元组$(Q,\sum ,\Gamma ,\delta ,q_0,q_{accept},q_{reject})$,其中:$Q,\sum ,\Gamma$都是有穷集合，并且

1. $Q$是状态集
2. $\sum$是输入字母表，不包括特殊空白符号$\bigsqcup$
3. $\Gamma$是带子字母表，其中，$\bigsqcup \in \Gamma ,⊳\in \Gamma ,\sum \subseteq \Gamma$
4. δ : Q × Γ → Q × Γ × { L , R } \delta:Q\times\Gamma\rightarrow Q\times \Gamma\times\{L,R\} δ:Q×Γ→Q×Γ×{L,R}是转移函数
5. $q_0\in Q$是起始状态
6. $q_{accept}\in Q$是接收状态
7. $q_{reject}\in Q$是拒绝状态，且$q_{reject}\ne q_{accept}$

例：输入一个二进制数n，低位在前，输出n+1

Input	Output
$101\bigsqcup \bigsqcup$	$011\bigsqcup \bigsqcup$
$11\bigsqcup \bigsqcup$	$001\bigsqcup \bigsqcup$

∑ = { 0 , 1 } , Γ = { 0 , 1 , ⊔ , ⊳ } \sum=\{0,1\},\Gamma=\{0,1,\sqcup,\rhd\} ∑={0,1},Γ={0,1,⊔,⊳}

例1：判断回文串,图灵机编程先写一下想法

1. 读一个字符，并写为空格，0和1进入不同的路径
2. 接着不停地往右走，直到读到空格，往左走一格
3. 进行比较，如果不同，则进入$q_{reject}$，如果相同，写为空格后回到$q_{start}$重复上述过程
4. 接收状态有两种：
   • 偶数，最终正好把所有字符写为空格后回到$q_{start}$，则在$q_{start}$读到空格则接收
   • 奇数，最后一次读到一个字符并进入到对应状态，没有下一个有效的字符进行判断，则此时读到空格接收

例2：2的n次方：图灵机判断 L = { 0 2 n ∣ n ≥ 0 } L=\{0^{2^n}|n\ge0\} L={02n∣n≥0}

每次擦除一半的0，直到只剩一个0则接受，如果为奇数个0则拒绝。(隔一个擦一个)

1. 从左往右，隔一个0，擦除一个0(写x)
2. 如果在跳过一个0后读到了空格，则说明是奇数，直接拒绝
3. 接着回到最左边，重复上述操作，直到0全部被擦除。

∑ = { 0 } , Γ = { 0 , ⊔ , x } \sum=\{0\},\Gamma=\{0,\sqcup,x\} ∑={0},Γ={0,⊔,x}，空格在最左边，x用来表示被擦除的0

例3：判断字符串相等,图灵机判断 L = { w # w : w ∈ { 0 , 1 } ∗ } , ∑ = { 0 , 1 , # } L=\{w\#w:w\in\{0,1\}^*\},\sum=\{0,1,\#\} L={w#w:w∈{0,1}∗},∑={0,1,#}

1. 读取一个字符并改为x后，不断向右移动，直到遇到$\#$。
2. 跳过x后，进行比较，如果不同则拒绝；如果相同则写为x并回到最左端并重复。
3. 最终在x后读到#则接收

练习：

1. 二进制整数比较： L = { x , y ∣ x , y ∈ { 0 , 1 } ∗ , x ≥ y } L=\{x,y|x,y\in\{0,1\}^*,x\ge y\} L={x,y∣x,y∈{0,1}∗,x≥y} 最高位在前

   先比较长度，再回到最高位比较。

2. 二进制+1，最高位在前（input：100 ,output:101)

   特殊处理全1的情况就好

3. L = { 0 n 1 n } L=\{0^n1^n\} L={0n1n}

   如果第一位是空格则接收，然后就读0，找1，重复

$Def3.2$ 可判定

语言 L ⊆ { 0 , 1 } ∗ L\subseteq \{0,1\}^* L⊆{0,1}∗,M是一个图灵机，L可被M在时间$T(n)$内判定，如果 ∀ x ∈ { 0 , 1 } ∗ \forall x\in\{0,1\}^* ∀x∈{0,1}∗:

1. M在$T(n)$步内停止

2. 如果$x\in L$,那么$M$接收$x$

3. 如果$x\ne L$，那么$M$拒绝$x$(不允许出现死循环）

$Def3.3$ 图灵可判定

L ⊆ { 0 , 1 } ∗ L\subseteq\{0,1\}^* L⊆{0,1}∗,如果有一个图灵机可判定他，则称$L$是(图灵)可判定的

$Def3.4$ 可识别

M是一个图灵机，M可接收的字符串集被称为被M识别的语言，记为$L(M)$,比判定弱，L之外的语言可不被接收，也可能死循环。

$Def3.5$图灵可识别

L ⊆ { 0 , 1 } ∗ L\subseteq\{0,1\}^* L⊆{0,1}∗，称L为图灵可识别，如果存在一个图灵机识别他。

由定义可知，每一个可判定的语言都是可识别的，反过来则不一定，例如：

L = { < M , x > , 输入 x ， M 会停机 } L=\{<M,x>,输入x，M会停机\} L={<M,x>,输入x，M会停机}，这是可识别的，因为L是可接收的，单如果$x\ne L$，M可能会陷入死循环。

$Def3.6$ 时间复杂度`

映射 f : { 0 , 1 } ∗ → { 0 , 1 } ∗ ∪ { u n d e f i n e d } f:\{0,1\}^*\rightarrow\{0,1\}^*\cup\{undefined\} f:{0,1}∗→{0,1}∗∪{undefined},如果 ∀ x ∈ { 0 , 1 } ∗ , f ( x ) ≠ u n d e f i n e d \forall x\in\{0,1\}^*,f(x)\ne undefined ∀x∈{0,1}∗,f(x)=undefined,M在$T(|x|)$步内停下，并输出$f(x)$

$Everythingshouldbemadeassimpleaspossbile,butnosimpler$

3.1.2 图灵机变体

$Lema3.7$ 图灵机等价

如果语言 L ⊆ { 0 , 1 } ∗ L\subseteq\{0,1\}^* L⊆{0,1}∗可在时间$T(n)$内被图灵机(带子字母表为$\Gamma$)判定，那么他可在
$$O(log|\Gamma |T(n))=O_{\Gamma }(T(n))$$
时间内被图灵机 M ′ ( Γ ′ = { 0 , 1 , ⊔ , ⊳ } ) M'(\Gamma'=\{0,1,\sqcup,\rhd\}) M′(Γ′={0,1,⊔,⊳})判定

$Proof$:

用$k=\lceil lo{g}_2|\Gamma |\rceil =O(lo{g}_2|\Gamma |)$bits编码$\Gamma$的标识符，新的图灵机$M^{\prime }$将

1. 用$k$步读一个标识$a\in \Gamma$
2. 转移到下一步$q^{\prime }$，得到一个新的标识$b$（用来改写$a$）
3. 用$b$替换$a$
4. 接着用$k$步实现左移右移或者保持

综上所述，这一步的模拟需要$k+1+k+k=O(k)$步，那么$T(n)$步需要$O(lo{g}_2|\Gamma |T(n))$步

$Def3.8$ 多带图灵机

一个$k$-带图灵机M是一个七元组$(Q,\sum ,\Gamma ,\delta ,q_0,q_{accept},q_{reject})$，其中 δ : Q × Γ k → Q × Γ k × { L , R , S } k \delta:Q\times \Gamma^k \rightarrow Q\times \Gamma^k\times \{L,R,S\}^k δ:Q×Γk→Q×Γk×{L,R,S}k,通常来说，第一条带子作为输入带，如果要输出，那么最后一条带子作为输出带,$k=O(1)$（必须是一个常数)

$Lema3.9$ 多带等价

L ⊆ { 0 , 1 } ∗ L\subseteq \{0,1\}^* L⊆{0,1}∗，如果$L$可被一个$k-tape$ 图灵机在时间$T(n)$内识别，那么$L$可在时间$O(k{T}^2(n))$内被一个单带图灵机识别。($n$为输入长度，$S(n)$为K带图灵机用的格子数，$T(n)$为K带图灵机所用的时间，即转移次数,假定$T(n)\ge n$，$S^{\prime }(n)$为单带图灵机用的格子数，显然有$S(n)\le T(n)$)

$Proof$

​ 用位置$i-1,k+i-1,2k+i-1,\cdots$,来模拟第$i$条带子，$i=1,2,\cdots ,k$，$\forall a\in \Gamma$,引入$a,\hat{a}\in {\Gamma }^{\prime }$,$\hat{a}$标记表头的位置，来模拟图灵机$M$的一步，单带图灵机$M^{\prime }$将

1. 从左到右的扫描一遍表带，读$k$个标志，用$\hat{}$标记，但我们并不清楚这k个标志的顺序
2. 应用$M$的转移函数$\delta$来决定下一个状态，对于k个标志的顺序，我们可以使用
3. 如果需要往回(从右到左)更新k个标志(S’(n)),并移动$\hat{}$（$2k^2$,去又回,2k,共k个）

总计3步，共用了$kS’(n)+O(1)+S^{\prime }(n)+2k^2\le kT(n)+O(1)+O(kT(n))=O(kT(n))$，共有$T(n)$步，故为$O(k{T}^2(n))$

$Def3.10$ 双向纸带图灵机

​ 双向纸带图灵机的带子在两端都是无限的

$Lema3.10$ $L\subseteq {\sum }^{\ast }$，若$L$可被一个双向纸带图灵机在$T(n)$内判定，那么它可以被一个单带图灵机在$O(T(n))$内判定。

$Proof$

​ 对于双向纸带图灵机，标记起点为0，左边记为负数$-i$，右边记为正数$i$，可映射到单带图灵为：$i\to 2i,-i\to 2i+1$

​ 对双向纸带图灵机$M$的每一步，单带图灵机$M^{\prime }$将

1. 读标记
2. 转移到下一个状态
3. 更新标记
4. 如果需要，向左或向右移动两位

总计4步，每一步需要$O(1)$来模拟，故总计在$O(T(n))$内

$Def3.11$ 随机访存图灵机

随机访存图灵机(Random access memory,RAM) 是一个拥有随机访存的图灵机

1. $M$拥有一条无限内存带$A$,使用自然数集$\mathbb{N}$作为索引
2. $M$的其中一条带子是地址带
3. $\Gamma$ 拥有两种特殊的符号R(read)和W(write)
4. $Q$拥有两种特殊的状态$Q_{access}\subseteq Q$,无论何时$M$进入到状态$q\in Q_{access}$
   1. 如果地址带包含$iR$,（$i$为R之前的一串字符串），$A[i]$的值将会被写到$R$旁边的格子
   2. 如果地址带包含$iW\sigma$，那么$A[i]=\sigma$

如果有$k$个工作带，那么 δ : Q × Γ k + 1 → Q × Γ k + 1 × { L , R , S } k + 1 \delta:Q\times \Gamma^{k+1}\rightarrow Q\times \Gamma^{k+1}\times\{L,R,S\}^{k+1} δ:Q×Γk+1→Q×Γk+1×{L,R,S}k+1 ，内存带不需要指针

那么随机访存图灵机是一个八元组，假设有k个工作带，一个地址带m，

那么 M = ( Q , ∑ , Γ , δ , q 0 , q a c c e p t , q r e j e c t , Q a c c e s s ) , δ : Q × Γ k + 1 → Q × Γ k + 1 × { L , R , S } k + 1 M=(Q,\sum,\Gamma,\delta,q_0,q_{accept},q_{reject},Q_{access}),\delta:Q\times \Gamma^{k+1}\rightarrow Q\times \Gamma^{k+1}\times\{L,R,S\}^{k+1} M=(Q,∑,Γ,δ,q0​,qaccept​,qreject​,Qaccess​),δ:Q×Γk+1→Q×Γk+1×{L,R,S}k+1

$Lema3.12$ RAM图灵机可被多带图灵机判定

​ 若 L ⊆ { 0 , 1 } ∗ L\subseteq\{0,1\}^* L⊆{0,1}∗,若$L$可在$T(n)$被一个RAM图灵机判定,那么它可以在$O(T^3(n))$的时间内被一个多带图灵机判定。

​ 如果地址带长度为$O(1)$（例如现实中的32位，64位)，那么可在$O(T^2(n))$内被多带图灵机判定。

$Proof$

​ 用一条额外工作带A作为内存，来保存元组$(i,A[i])$，其中$i$是一个二进制整数，$A[i]\in \Gamma$,是所有被引用的内存地址

$pairs\le T(n),length\ of\ each \ pair\le O(T(n)),length\ of\ the\ extra \ memory\ tape\le O(T^2(n)) $

模拟$M$的一步，如果$M$在一次访问中，那么多带图灵机M‘将：

1. 扫描带A来找到一个在地址带中匹配$i$的地址
2. 如果不存在这样的$i$，添加一个新的元组$(i,A[i])$
3. 读或写$A[i]$

每一步用时$O(T^2(n))+O(T(n))+O(T(n))=O(T^2(n))$,$T(n)$步为$O(T^3(n))$

​ 如果地址带长度为$O(1)$，那么$pairs\le T(n),lengthofeachpair=O(1)，lengthoftheextramemorytape\le O(T(n))$，那么每一步将花费$O(T(n))$的时间,总共花费$O(T^2(n))$

若忽略多项式，所有图灵机都是等价的。

使用RAM图灵机模拟汇编语言：

一组固定数量的寄存器(64bits)

对于加法、减法、 乘法

$add{R}_0,R_1,R_2//R_0\leftarrow R_1+R2$

$sub{R}_0,R_1,R_2//R_0\leftarrow R_1-R2$

$MUL{R}_0,R_1,R_2//R_0\leftarrow R_1\times R2$

比较(将结果储存在状态寄存器中)

$CMP{R}_0,R_1$

移动

$Mov{R}_0,R_1//R_0\leftarrow R_1$

位运算，or，xor

KaTeX parse error: Undefined control sequence: \or at position 37: …\leftarrow R_1 \̲o̲r̲ ̲R_2

$EOR{R}_0,R_1,R_2//R_0\leftarrow R_1\oplus R_2$

测试相等

$TST{R}_0,\#8$

$TEQ{R}_0,R_1$

逻辑位移

$LSL{R}_0,R_1,\#3//R_0\leftarrow 将R_1左移3位，存在R_0中$

$LSL{R}_0,R_1,R_2$

旋转

$ROR{R}_0,R_1,\#5//R_1右移5位，移出的位从另一边进入$

内存相关操作

$LDR{R}_0[R_1]//R_0\leftarrow M[R_1]$

$STR{R}_1[R_0]//M[R_0]\leftarrow R_1$

​ 上述每个汇编操作都可以用RAM图灵机在$O(1)$步内完成

算法相关的书中的时间复杂度，是用的RAM图灵机

复杂性理论的书中的时间复杂度，使用的多带图灵机

$Church-Turingthesis$

​ 物理世界中可计算的所有函数都可以被图灵机计算(例如：量子，生物)

$StrongCTthesis$

​ 可在多项式时间内计算完成。(可能的例外：量子计算机)