1.2 算法和算法评价

1.2 算法和算法评价

知识图谱

一、算法的基本概念

算法（Algorithm）是特定问题求解步骤的一种描述，它是指令的有限序列，其中的每条指令表示一个或多个操作。此外，一个算法还具有下列5个重要特性：

• 有穷性：一个算法中必须总在执行有穷步之后结束，且每一步都可能在有穷时间内完成；
• 确定性：算法中每条指令必须有确切的含义，对于相同的输入只能得出相同的输出；
• 可行性：算法中描述操作都可以通过已经实现的基本运算执行有限次来实现；
• 输入：一个算法有零个或多个输入，这些输入取自于某个特定的对象的集合；
• 输出：一个算法有一个或多个输出，这些输出是于输入有着某种特定关系的量。

通常，设计一个好算法应考虑达到以后目标：

• 正确性：算法应能够正确地解决问题；
• 可读性：算法应具有良好的可读性，以帮助人们理解；
• 健壮性：输入非法数据时，算法能适当地做出反应或进行处理，而不会产生莫名其妙地输出结果；
• 效率与低存储量需求：效率是指算法执行的时间，存储量需求是指算法执行过程中所需要的最大存储空间，这两者都与问题的规模有关。

二、算法效率的度量

算法效率的度量是通过时间复杂度和空间复杂度来描述的。

1. 时间复杂度

一个语句的频度是指该语句在算法中被重复执行的次数。算法中所有语句的频度之和记为 T(n)，它是该算法问题规模 n 的函数，时间复杂度主要分析 T(n) 的数量级。算法中基本运算（最深层循环内的语句）的频度与 T(n) 同数量级，因此通常采用算法中基本运算的频度 f(n) 来分析算法的时间复杂度。

因此算法的时间复杂度记为：
$$T(n)=O(f(n))$$
O 的含义是 T(n) 的数量级，其严格的数学意义是：若 T(n) 和 f(n) 是定义在正整数集合上的两个函数，则存在正常数 C 和 n0，使得 n >= n0 时，都满足 0 <= T(n) <= C(fn)。

算法的时间复杂度不仅依赖于问题的规模 n，也取决于待输入数据的性质（如输入数据元素的初始状态）。

• 最坏时间复杂度：最坏的情况下，算法的时间复杂度；
• 平均时间复杂度：所有可能输入实例在等概率出现的情况下，算法的期望运行时间；
• 最好时间复杂度：在最好的情况下，算法的时间复杂度。

一般总是考虑在最坏情况下，算法的时间复杂度，以保证算法的运行时间不会比它更长。

在分析一个程序的时间复杂性时，有以下两条规则：

• 加法规则：
  $$T(n)=T_1(n)+T_2(n)=O(f(n))+O(g(n))=O(max(f(n)),g(n))$$

• 乘法规则：
  $$T(n)=T_1(n)\ast T_2(n)=O(f(n))\ast O(g(n))=O(f(n)\ast g(n))$$

常见的渐进时间复杂度为：
$$O(1)<O(lo{g}_{2}n)<O(n)<O(nlo{g}_{2}n)<O(n^2)<O(n^3)<O(2^n)<O(2n!)<O(n^n)$$

2. 空间复杂度

算法的空间复杂度 S(n) 定义为该算法所损耗的存储空间，它是问题规模 n 的函数，记为
$$S(n)=O(g(n))$$
一个程序在执行时除需要存储空间来存放本身所用的指令、常数、变量和输入数据外，还需要一些对数据进行操作的工作单元和存储一些为实现计算所需信息的辅助空间。若输入数据所占空间只取决于问题本身，和算法无关，则只需分析除输入和程序之外的额外空间。

算法原地工作是指算法所需的辅助空间为常量，即 O(1)。