离散数学【03】——认识算法

1. 算法

在学习离散数学的时候如此早的便接触算法是由于在解决离散数学问题的时候需要考虑算法的相关指标。而算法就是在不断的解决离散数学问题的时候而逐渐成体系，出现了各种算法。在此处的算法只是算法的基础，但也是极其重要的。

先来看定义
$$定义1:算法是进行一项计算或解决一个问题的精确指令的有限序列。$$
很多时候描述算法是使用伪代码的形式，需要知道伪代码中语句的意思。

算法的性质：

• 输入：算法从一个指定的集合得到输入值
• 输出：对每个输入值集合，算法都要从一个指定的集合中产生输出值。输出值就是问题的解。
• 确定性：算法的步骤必须是准确定义的
• 正确性：对每一组输入值，算法都应该产生正确的输出值。
• 有限性：对任何输入算法都应该在有限（可能很多）步之后产生期望的输出。
• 有效性：算法的每一步都应能够准确地在有限的时间完成。
• 通用性：算法过程应该可以运用于期望形式的所有问题，而不只是用于一组特定的输入值。

2. 函数的增长

在研究计算算法使用的操作步数前，需要先了解相关函数增长的知识。
$$\begin{gathered} 定义1:令f和g为整数集或实数集到实数集的函数。 \\ 如果存在常数C和k使得只要当x>k就有 \\ |f(x)|\le C|g(x)| \\ 我们就说f(x)是O(g(x))的。可读作"f(x)是大Og(x)的"。 \end{gathered}$$
常数$C和k$被叫做凭证（witness）。
$$\begin{gathered} 定理1:令f(x)=a_n{x}^n+a_{n-1}{x}^{n-1}+...+a_{1}x+a_0,其中a_0,...,a_1,a_{n-1},a_n是实数。 \\ 那么f(x)是O(x^n)的。 \end{gathered}$$

用于估算的常用函数包括：
$$1,logn,n,nlogn,n^2,2^n,n!$$
注：$logn表示n的以2为底的对数$。

2.1 函数组合的增长

$$\begin{gathered} 定理1:假定f_1(x)是O(g_1(x))的，f_2(x)是O(g_2(x))的，那么(f_1+f_2)(x)是O(g(x))的， \\ 其中对所有x有g(x)=(max(|g_1(x)|,|g_2(x)|))。 \end{gathered}$$

$$推论1:假定f_1(x)和f_2(x)都是O(g(x))的，那么(f_1+f_2)(x)也是O(g(x))的。$$

$$\begin{gathered} 定理2:假定f_1(x)是O(g_1(x))的，f_2是O(g_2(x))的。 \\ 那么(f_1{f}_2)(x)是O(g_1(x)g_2(x))的。 \end{gathered}$$

2.2 大$\Omega$和大$\Theta$

大$O$是函数的上限，而大$\Omega$是下下，大$\Theta$是上限和下限。
$$\begin{gathered} 定义2:令f和g为从整数集合或实数集合到实数集合的函数。 \\ 如果存在正常数C和k使得当x>k时有 \\ |f(x)|\ge C|g(x)| \\ 我们说f(x)是\Omega (g(x))的。 \end{gathered}$$

$$\begin{gathered} 定义3:令f和g为从整数集合或实数集合到实数集合的函数。 \\ 如果f(x)是O(g(x))的且f(x)是\Omega (g(x))的,我们就说f(x)是\Theta (g(x))的。 \\ 我说f(x是g(x)阶的,或f(x)和g(x)是同阶的。 \end{gathered}$$

$f(x)是\Theta (g(x))$的当且仅当存在实数$C_1$和$C_2$以及应该正实数k使得当x>k时有$C_{1}g(x)\le f(x)\le C_{2}g(x))$ 。

一个关于多项式的更有用的事实是多项式的首项决定其阶。
$$定理1:令f(x)=a_n{x}^n+a_{n-1}{x}^{n-1}+...+a_{1}x+a_0,其中a_0,a_1,...,a_n是实数，a_n\ne 0。则f(x)是x^n阶的。$$

2.3 算法复杂度

计算复杂度是在算法学习中始终需要讨论的问题。解决特定规模的问题所需时间的分析就是算法的时间复杂度。所需计算机内存的分析就是算法空间复杂度。

对于时间复杂度，在输入具有一定规模时，算法的时间复杂度可以用算法所需的运算次数来表示。

在分析时可以考虑最坏情形复杂度和平均复杂度。

关于主定理的内容，
$$\begin{gathered} 定理1:主定理设f是满足递推关系 \\ f(n)=af(n/b)+c{n}^d \\ 的增函数，其中n=b^k,k是一个正整数，a\ge 1,b是一个大于1的整数，c和d是实数，满足c是正的且b是非负的。那么 \\ f(n)是\{\begin{array}{cc}O(n^d)& a<b^d\\ O(n^{d}logn)& a=b^d\\ o(n^{lo{g}_b^a})& a>b^d\end{array} \end{gathered}$$

2.4 理解算法复杂度

复杂度	术语
$\Theta (1)$	常量复杂度
$\Theta (logn)$	对数复杂度
$\Theta (n)$	线性复杂度
$\Theta (nlogn)$	线性对数复杂度
$\Theta (n^b)$	多项式复杂度
$\Theta (b^n),b>1$	指数复杂度
$\Theta (n!)$	阶乘复杂度

易解性( tractability ) 一个能用多项式最坏情形复杂度(或更优)的算法求解的问题称为易解的( tractable )。

但需注意即使易解性是这样定义的，但当多项式次数过高( 如 100 次)或者多项式的系数非常大，则问题也不能保证在合理的时间内得到解答。幸运的是，在实践中，多项式的次数和系数都不大。

对于那些不能用最坏情形多项式时间复杂度的算法解决的问题被称为是难解的( intractable )。

解决难解的问题可以考虑两种方法：第一种是，如果问题再大多少情况下是花费时间可以接受，只在少量情况不能在合理时间内解决，那么平均情形时间复杂度便是一种更好的度量方式。第二种是，寻求问题的近似解而非精确解。

甚至还有一些问题，被证明是没有算法能够求解它们的。这种问题被称为不可解的( unsolvable )。停机问题便是这样的一个问题。

2.4.1 P与NP

有些问题被划分到P类和NP类中。

P类问题就是易解的问题。

NP类问题是一些特殊的问题：人们相信许多可解的问题具有这样的性质，即没有多项式最坏情形时间复杂度的算法能求解，但是一旦有了一个解答，却可以用多项式时间内验证。能以多项式时间内来验证解的问题称为属于NP类。缩写NP是指非确定性多项式( nodeterministic polynomial )时间。

另外还有一类重要的问题，NP完全问题(NP-complete problem)，这类问题具有这样的性质即只要其中任何一个问题能用一个多项式时间最坏情形算法来求解，那么NP类的所有问题都能用多项式时间最坏情形算法来求解。

在数学界或者说计算机界就存在这样的一个问题，P与NP问题( P versus NP problem )，是问NP是否等于P。其实就是在问NP类问题是否真的存在，如果$P\ne NP$，则存在这样一些不能在多项式时间内求解但其解可以在多项式时间内验证的问题。大多数理论计算机科学家相信$P\ne NP$，这样的看法很大部分来源于至今也没有人成功的证明$P=NP$。

这个问题是7个著名的千禧年大奖问题之一，其中6个依然未解。

2.4.1 实际的考虑

需要知道的是大$\Theta$估算是不能直接翻译成计算机实际使用时间量。第一，$C和k$ 是不知道的。第二，运算时间还取决于运算类型和使用的计算机。

提高计算机解决问题的方法有：一，提高算法有效性；二，提高计算机存储和计算能力；三，并行处理；四，分布处理。

在我学习的该书( 离散数学及其应用 Kenneth H.Rosen 著 )中，给出了一个参考的时间。

假定一次位运算需要的时间是$10^{-11}$秒。

问题规模
n	$logn$	$n$	$nlogn$	$n^2$	$2^n$	$n!$
$10$	$3\times 10^{-11}s$	$10^{-10}s$	$3\times 10^{-10}s$	$10^{-9}s$	$10^{-8}s$	$3\times 10^{-7}s$
$10^2$	$7\times 10^{-11}s$	$10^{-9}s$	$7\times 10^{-9}s$	$10^{-7}s$	$4\times 10^{11}yr$	*
$10^3$	$1.0\times 10^{-10}s$	$10^{-8}s$	$1\times 10^{-7}s$	$10^{-5}s$	*	*
$10^4$	$1.3\times 10^{-10}s$	$10^{-7}s$	$1\times 10^{-6}s$	$10^{-3}s$	*	*
$10^5$	$1.7\times 10^{-10}s$	$10^{-6}s$	$2\times 10^{-5}s$	$0.1s$	*	*
$10^6$	$2\times 10^{-10}s$	$10^{-5}s$	$2\times 10^{-4}s$	$0.17min$	*	*