算法复杂度是在《数据结构》这门课程的第一章里出现的,因为它稍微涉及到一些数学问题,所以很多同学感觉很难,加上这个概念也不是那么具体,更让许多同学学起来无从下手,下面我们就这个问题给各位考生进行分析。
首先了解一下几个概念。一个是时间复杂度,一个是渐近时间复杂度。前者是某个算法的时间耗费,它是该算法所求解问题规模n的函数,而后者是指当问题规模趋向无穷大时,该算法时间复杂度的数量级。
当我们评价一个算法的时间性能时,主要标准就是算法的渐近时间复杂度,因此,在算法分析时,往往对两者不予区分,经常是将渐近时间复杂度T(n)=O(f(n))简称为时间复杂度,其中的f(n)一般是算法中频度最大的语句频度。
此外,算法中语句的频度不仅与问题规模有关,还与输入实例中各元素的取值相关。但是我们总是考虑在最坏的情况下的时间复杂度。以保证算法的运行时间不会比它更长。
常见的时间复杂度,按数量级递增排列依次为:常数阶O(1){Hash表的查找}、对数阶O(log2n){二分查找}、线性阶O(n)、线性对数阶O(nlog2n){快速排序的平均复杂度}、平方阶O(n^2){冒泡排序}、立方阶O(n^3){求最短路径的Floyd算法}、k次方阶O(n^k)、指数阶O(2^n){汉诺塔}。
下面我们通过例子加以说明,让大家碰到问题时知道如何去解决。
1、设三个函数f,g,h分别为 f(n)=100n^3+n^2+1000 , g(n)=25n^3+5000n^2 , h(n)=n^1.5+5000nlgn
请判断下列关系是否成立:
(1) f(n)=O(g(n))
(2) g(n)=O(f(n))
(3) h(n)=O(n^1.5)
(4) h(n)=O(nlgn)
这里我们复习一下渐近时间复杂度的表示法T(n)=O(f(n)),这里的"O"是数学符号,它的严格定义是"若T(n)和f(n)是定义在正整数集合上的 两个函数,则T(n)=O(f(n))表示存在正的常数C和n0 ,使得当n≥n0时都满足0≤T(n)≤C?f(n)。"用容易理解的话说就是这两个函数当整型自变量n趋向于无穷大时,两者的比值是一个不等于0的常 数。这么一来,就好计算了吧。
(1)成立。题中由于两个函数的最高次项都是n^3,因此当n→∞时,两个函数的比值是一个常数,所以这个关系式是成立的。
(2)成立。与上同理。
(3)成立。与上同理。
(4)不成立。由于当n→∞时n^1.5比nlgn递增的快,所以h(n)与nlgn的比值不是常数,故不成立。
2、设n为正整数,利用大"O"记号,将下列程序段的执行时间表示为n的函数。
(1) i=1; k=0
while(i<n)
{ k=k+10*i;i++;
}
解答:T(n)=n-1, T(n)=O(n), 这个函数是按线性阶递增的。
(2) x=n; // n>1
while (x>=(y+1)*(y+1))
y++;
解答:T(n)=n1/2 ,T(n)=O(n1/2), 最坏的情况是y=0,那么循环的次数是n1/2次,这是一个按平方根阶递增的函数。
(3) x=91; y=100;
while(y>0)
if(x>100)
{x=x-10;y--;}
else x++;
解答: T(n)=O(1), 这个程序看起来有点吓人,总共循环运行了1000次,但是我们看到n没有? 没。这段程序的运行是和n无关的,就算它再循环一万年,我们也不管他,只是一个常数阶的函数。
规则:有如下复杂度关系
c < log2N < n < n * Log2N < n^2 < n^3 < 2^n < 3^n < n!
其中c是一个常量,如果一个算法的复杂度为c 、 log2N 、n 、 n*log2N ,那么这个算法时间效率比较高 ,如果是 2^n , 3^n ,n!,那么稍微大一些的n就会令这个算法不能动了,居于中间的几个则差强人意。
我们常需要描述特定算法相对于 n(输入元素的个数 )需要做的工作量。在一组未排序的数据中检索,所需的时间与 n成正比;如果是对排序数据用二分检索,花费的时间正比于logn。排序时间可能正比于n^2或者nlogn。
我们希望能够比较算法的运行时间和空间要求,并使这种比较能与程序设计语言、编译系统、机器结构、处理器的速度及系统的负载等复杂因素无关。
为了这个目的,人们提出了一种标准的记法,称为“大O记法”.在这种描述中使用的基本参数是 n,即问题实例的规模,把复杂性或运行时间表达为n的函数 。这里的“O”表示量级 (order),比如说“二分检索是 O(logn)的”,也就是说它需要“通过logn量级的步骤去检索一个规模为n的数组”记法O ( f(n) )表示当n增大时,运行时间至多将以正比于f(n)的速度增长。这种渐进估计对算法的理论分析和大致比较是非常有价值的,但在实践中细节也可能造成差异。例如,一个低附加代价的O(n2)算法在n较小的情况下可能比一个高附加代价的O(nlogn)算法运行得更快。当然,随着n足够大以后,具有较慢上升函数的算法必然工作得更快。
<div style="border: 0.5pt solid windowtext; padding: 4px 5.4pt; width: 672.59375px; background: 0% 50% rgb(230, 230, 230);"><p><span style="font-size: 13px;"><img alt="" src="https://i-blog.csdnimg.cn/blog_migrate/6810355c2f78c12e91b7997a8e8c583a.gif" align="top" style="border: none; max-width: 100%;" /><span style="color: rgb(0, 0, 0);">Temp</span><span style="color: rgb(0, 0, 0);">=</span></span><span style="font-size: 13px;"><span style="color: rgb(0, 0, 0);">i; <img alt="" src="https://i-blog.csdnimg.cn/blog_migrate/6810355c2f78c12e91b7997a8e8c583a.gif" align="top" style="border: none; max-width: 100%;" />i</span><span style="color: rgb(0, 0, 0);">=</span></span><span style="font-size: 13px;"><span style="color: rgb(0, 0, 0);">j; <img alt="" src="https://i-blog.csdnimg.cn/blog_migrate/6810355c2f78c12e91b7997a8e8c583a.gif" align="top" style="border: none; max-width: 100%;" />j</span><span style="color: rgb(0, 0, 0);">=</span></span><span style="font-size: 13px;"><span style="color: rgb(0, 0, 0);">temp; <img alt="" src="https://i-blog.csdnimg.cn/blog_migrate/6810355c2f78c12e91b7997a8e8c583a.gif" align="top" style="border: none; max-width: 100%;" /> </span> </span></p></div>
以上三条单个语句的频度均为1,该程序段的执行时间是一个与问题规模n无关的常数。
算法的时间复杂度为常数阶,记作T(n)=O(1)。如果算法的执行时 间不随着问题规模n的增加而增长,即使算法中有上千条语句,其执行时间也不过是一个较大的常数。此类算法的时间复杂度是O(1)。
例 2.1. 交换i和j的内容
1) sum=0; (一次)
2) for(i=1;i<=n;i++) (n次 )
3) for(j=1;j<=n;j++) (n^2次 )
4) sum++; (n^2次 )
解:T(n)=2n^2+n+1 =O(n^2)
例 2.2.
<div style="border: 0.5pt solid windowtext; padding: 4px 5.4pt; width: 672.59375px; background: 0% 50% rgb(230, 230, 230);"><p><span style="font-size: 13px;"><img alt="" src="https://i-blog.csdnimg.cn/blog_migrate/6810355c2f78c12e91b7997a8e8c583a.gif" align="top" style="border: none; max-width: 100%;" /><span style="color: rgb(0, 0, 255);">for</span><span style="color: rgb(0, 0, 0);"> (i</span><span style="color: rgb(0, 0, 0);">=</span><span style="color: rgb(0, 0, 0);">1</span><span style="color: rgb(0, 0, 0);">;i</span><span style="color: rgb(0, 0, 0);"><</span><span style="color: rgb(0, 0, 0);">n;i</span><span style="color: rgb(0, 0, 0);">++</span></span><span style="font-size: 13px;"><span style="color: rgb(0, 0, 0);">) <img id="_18_79_Open_Image" alt="" src="https://i-blog.csdnimg.cn/blog_migrate/a41954a27d6ad96fa2c2cf816e677448.gif" align="top" style="border: none; max-width: 100%;" /><img id="_18_79_Closed_Image" alt="" src="https://i-blog.csdnimg.cn/blog_migrate/1327ab569c1ae82736693a50b8e33378.gif" align="top" style="border: none; max-width: 100%;" /></span><span id="_18_79_Closed_Text" style="border: 1px solid rgb(128, 128, 128); background-color: rgb(255, 255, 255);">...</span></span><span id="_18_79_Open_Text"><span style="font-size: 13px;"><span style="color: rgb(0, 0, 0);">{ <img alt="" src="https://i-blog.csdnimg.cn/blog_migrate/6a9c071a08f1dae2d3e1c512000eef41.gif" align="top" style="border: none; max-width: 100%;" /> y</span><span style="color: rgb(0, 0, 0);">=</span><span style="color: rgb(0, 0, 0);">y</span><span style="color: rgb(0, 0, 0);">+</span><span style="color: rgb(0, 0, 0);">1</span></span><span style="font-size: 13px;"><span style="color: rgb(0, 0, 0);">; ① <img alt="" src="https://i-blog.csdnimg.cn/blog_migrate/6a9c071a08f1dae2d3e1c512000eef41.gif" align="top" style="border: none; max-width: 100%;" /> </span><span style="color: rgb(0, 0, 255);">for</span><span style="color: rgb(0, 0, 0);"> (j</span><span style="color: rgb(0, 0, 0);">=</span><span style="color: rgb(0, 0, 0);">0</span><span style="color: rgb(0, 0, 0);">;j</span><span style="color: rgb(0, 0, 0);"><=</span><span style="color: rgb(0, 0, 0);">(</span><span style="color: rgb(0, 0, 0);">2</span><span style="color: rgb(0, 0, 0);">*</span><span style="color: rgb(0, 0, 0);">n);j</span><span style="color: rgb(0, 0, 0);">++</span></span><span style="font-size: 13px;"><span style="color: rgb(0, 0, 0);">) <img alt="" src="https://i-blog.csdnimg.cn/blog_migrate/6a9c071a08f1dae2d3e1c512000eef41.gif" align="top" style="border: none; max-width: 100%;" /> x</span><span style="color: rgb(0, 0, 0);">++</span></span><span style="color: rgb(0, 0, 0);"><span style="font-size: 13px;">; ② <img alt="" src="https://i-blog.csdnimg.cn/blog_migrate/0196c3df5ea9e936f21e9932cca91014.gif" align="top" style="border: none; max-width: 100%;" />}</span></span></span><span style="color: rgb(0, 0, 0);"><span style="font-size: 13px;"> <img alt="" src="https://i-blog.csdnimg.cn/blog_migrate/6810355c2f78c12e91b7997a8e8c583a.gif" align="top" style="border: none; max-width: 100%;" /></span></span></p></div>
解:语句1的频度是n-1, 语句2的频度是(n-1)*(2n+1)=2n^2-n-1.
f(n)=2n^2-n-1+(n-1)=2n^2-2,该程序的时间复杂度T(n)=O(n^2).
例 2.3.
a=0;b=1; ①
for (i=1;i<=n;i++) ②
...{
s=a+b; ③
b=a; ④
a=s; ⑤
}
解:语句1的频度:2, 语句2的频度: n, 语句3的频度: n-1, 语句4的频度:n-1,
语句5的频度:n-1, 则:T(n)=2+n+3(n-1)=4n-1=O(n).
例 2.4.
i=1; ①
while (i<=n)
i=i*2; ②
解:语句1的频度是1, 设语句2的频度是f(n), 则:2^f(n)<=n;f(n)<=log2n
取最大值f(n)= log2n,则该程序的时间复杂度T(n)=O(log2n )
例 2.5.
<div style="border: 0.5pt solid windowtext; padding: 4px 5.4pt; width: 672.59375px; background: 0% 50% rgb(230, 230, 230);"><p><span style="font-size: 13px;"><img alt="" src="https://i-blog.csdnimg.cn/blog_migrate/6810355c2f78c12e91b7997a8e8c583a.gif" align="top" style="border: none; max-width: 100%;" /><span style="color: rgb(0, 0, 255);">for</span><span style="color: rgb(0, 0, 0);">(i</span><span style="color: rgb(0, 0, 0);">=</span><span style="color: rgb(0, 0, 0);">0</span><span style="color: rgb(0, 0, 0);">;i</span><span style="color: rgb(0, 0, 0);"><</span><span style="color: rgb(0, 0, 0);">n;i</span><span style="color: rgb(0, 0, 0);">++</span></span><span style="font-size: 13px;"><span style="color: rgb(0, 0, 0);">) <img id="_17_80_Open_Image" alt="" src="https://i-blog.csdnimg.cn/blog_migrate/a41954a27d6ad96fa2c2cf816e677448.gif" align="top" style="border: none; max-width: 100%;" /><img id="_17_80_Closed_Image" alt="" src="https://i-blog.csdnimg.cn/blog_migrate/1327ab569c1ae82736693a50b8e33378.gif" align="top" style="border: none; max-width: 100%;" /></span><span id="_17_80_Closed_Text" style="border: 1px solid rgb(128, 128, 128); background-color: rgb(255, 255, 255);">...</span></span><span id="_17_80_Open_Text"><span style="font-size: 13px;"><span style="color: rgb(0, 0, 0);">{ <img alt="" src="https://i-blog.csdnimg.cn/blog_migrate/6a9c071a08f1dae2d3e1c512000eef41.gif" align="top" style="border: none; max-width: 100%;" /> </span><span style="color: rgb(0, 0, 255);">for</span><span style="color: rgb(0, 0, 0);">(j</span><span style="color: rgb(0, 0, 0);">=</span><span style="color: rgb(0, 0, 0);">0</span><span style="color: rgb(0, 0, 0);">;j</span><span style="color: rgb(0, 0, 0);"><</span><span style="color: rgb(0, 0, 0);">i;j</span><span style="color: rgb(0, 0, 0);">++</span></span><span style="font-size: 13px;"><span style="color: rgb(0, 0, 0);">) <img id="_40_78_Open_Image" alt="" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/ExpandedSubBlockStart.gif" align="top" style="border: none; max-width: 100%;" /><img id="_40_78_Closed_Image" alt="" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/ContractedSubBlock.gif" align="top" style="border: none; max-width: 100%;" /> </span><span id="_40_78_Closed_Text" style="border: 1px solid rgb(128, 128, 128); background-color: rgb(255, 255, 255);">...</span></span><span id="_40_78_Open_Text"><span style="font-size: 13px;"><span style="color: rgb(0, 0, 0);">{ <img alt="" src="https://i-blog.csdnimg.cn/blog_migrate/6a9c071a08f1dae2d3e1c512000eef41.gif" align="top" style="border: none; max-width: 100%;" /> </span><span style="color: rgb(0, 0, 255);">for</span><span style="color: rgb(0, 0, 0);">(k</span><span style="color: rgb(0, 0, 0);">=</span><span style="color: rgb(0, 0, 0);">0</span><span style="color: rgb(0, 0, 0);">;k</span><span style="color: rgb(0, 0, 0);"><</span><span style="color: rgb(0, 0, 0);">j;k</span><span style="color: rgb(0, 0, 0);">++</span></span><span style="font-size: 13px;"><span style="color: rgb(0, 0, 0);">) <img alt="" src="https://i-blog.csdnimg.cn/blog_migrate/6a9c071a08f1dae2d3e1c512000eef41.gif" align="top" style="border: none; max-width: 100%;" /> x</span><span style="color: rgb(0, 0, 0);">=</span><span style="color: rgb(0, 0, 0);">x</span><span style="color: rgb(0, 0, 0);">+</span><span style="color: rgb(0, 0, 0);">2</span></span><span style="color: rgb(0, 0, 0);"><span style="font-size: 13px;">; <img alt="" src="http://images.csdn.net/syntaxhighlighting/OutliningIndicators/ExpandedSubBlockEnd.gif" align="top" style="border: none; max-width: 100%;" /> }</span></span></span><span style="color: rgb(0, 0, 0);"> <span style="font-size: 13px;"><img alt="" src="https://i-blog.csdnimg.cn/blog_migrate/0196c3df5ea9e936f21e9932cca91014.gif" align="top" style="border: none; max-width: 100%;" />}</span></span></span><span style="color: rgb(0, 0, 0);"> <span style="font-size: 13px;"><img alt="" src="https://i-blog.csdnimg.cn/blog_migrate/6810355c2f78c12e91b7997a8e8c583a.gif" align="top" style="border: none; max-width: 100%;" /> <img alt="" src="https://i-blog.csdnimg.cn/blog_migrate/6810355c2f78c12e91b7997a8e8c583a.gif" align="top" style="border: none; max-width: 100%;" /> <img alt="" src="https://i-blog.csdnimg.cn/blog_migrate/6810355c2f78c12e91b7997a8e8c583a.gif" align="top" style="border: none; max-width: 100%;" />解:当i</span></span><span style="font-size: 13px;"><span style="color: rgb(0, 0, 0);">=</span><span style="color: rgb(0, 0, 0);">m, j</span><span style="color: rgb(0, 0, 0);">=</span></span><span style="font-size: 13px;"><span style="color: rgb(0, 0, 0);">k的时候,内层循环的次数为k <img alt="" src="https://i-blog.csdnimg.cn/blog_migrate/6810355c2f78c12e91b7997a8e8c583a.gif" align="top" style="border: none; max-width: 100%;" />当i</span><span style="color: rgb(0, 0, 0);">=</span><span style="color: rgb(0, 0, 0);">m时, j 可以取 </span><span style="color: rgb(0, 0, 0);">0</span><span style="color: rgb(0, 0, 0);">,</span><span style="color: rgb(0, 0, 0);">1</span><span style="color: rgb(0, 0, 0);">,...,m</span><span style="color: rgb(0, 0, 0);">-</span><span style="color: rgb(0, 0, 0);">1</span><span style="color: rgb(0, 0, 0);"> , 所以这里最内循环共进行了0</span><span style="color: rgb(0, 0, 0);">+</span><span style="color: rgb(0, 0, 0);">1</span><span style="color: rgb(0, 0, 0);">+</span><span style="color: rgb(0, 0, 0);">...</span><span style="color: rgb(0, 0, 0);">+</span><span style="color: rgb(0, 0, 0);">m</span><span style="color: rgb(0, 0, 0);">-</span><span style="color: rgb(0, 0, 0);">1</span><span style="color: rgb(0, 0, 0);">=</span><span style="color: rgb(0, 0, 0);">(m</span><span style="color: rgb(0, 0, 0);">-</span><span style="color: rgb(0, 0, 0);">1</span><span style="color: rgb(0, 0, 0);">)m</span><span style="color: rgb(0, 0, 0);">/</span></span><span style="font-size: 13px;"><span style="color: rgb(0, 0, 0);">2次 <img alt="" src="https://i-blog.csdnimg.cn/blog_migrate/6810355c2f78c12e91b7997a8e8c583a.gif" align="top" style="border: none; max-width: 100%;" />所以,i从0取到n, 则循环共进行了: </span><span style="color: rgb(0, 0, 0);">0</span><span style="color: rgb(0, 0, 0);">+</span><span style="color: rgb(0, 0, 0);">(</span><span style="color: rgb(0, 0, 0);">1</span><span style="color: rgb(0, 0, 0);">-</span><span style="color: rgb(0, 0, 0);">1</span><span style="color: rgb(0, 0, 0);">)</span><span style="color: rgb(0, 0, 0);">*</span><span style="color: rgb(0, 0, 0);">1</span><span style="color: rgb(0, 0, 0);">/</span><span style="color: rgb(0, 0, 0);">2</span><span style="color: rgb(0, 0, 0);">+</span><span style="color: rgb(0, 0, 0);">...</span><span style="color: rgb(0, 0, 0);">+</span><span style="color: rgb(0, 0, 0);">(n</span><span style="color: rgb(0, 0, 0);">-</span><span style="color: rgb(0, 0, 0);">1</span><span style="color: rgb(0, 0, 0);">)n</span><span style="color: rgb(0, 0, 0);">/</span><span style="color: rgb(0, 0, 0);">2</span><span style="color: rgb(0, 0, 0);">=</span><span style="color: rgb(0, 0, 0);">n(n</span><span style="color: rgb(0, 0, 0);">+</span><span style="color: rgb(0, 0, 0);">1</span><span style="color: rgb(0, 0, 0);">)(n</span><span style="color: rgb(0, 0, 0);">-</span><span style="color: rgb(0, 0, 0);">1</span><span style="color: rgb(0, 0, 0);">)</span><span style="color: rgb(0, 0, 0);">/</span><span style="color: rgb(0, 0, 0);">6</span></span><span style="color: rgb(0, 0, 0);"> <span style="font-size: 13px;"><img alt="" src="https://i-blog.csdnimg.cn/blog_migrate/6810355c2f78c12e91b7997a8e8c583a.gif" align="top" style="border: none; max-width: 100%;" />所以时间复杂度为O(n</span></span><span style="font-size: 13px;"><span style="color: rgb(0, 0, 0);">^</span><span style="color: rgb(0, 0, 0);">3</span></span><span style="color: rgb(0, 0, 0);"><span style="font-size: 13px;">). <img alt="" src="https://i-blog.csdnimg.cn/blog_migrate/6810355c2f78c12e91b7997a8e8c583a.gif" align="top" style="border: none; max-width: 100%;" /></span></span></p></div>
我们还应该区分算法的最坏情况的行为和期望行为。如快速排序的最坏情况运行时间是O(n^2),但期望时间是O(nlogn)。通过每次都仔细地选择基准值,我们有可能把平方情况 (即O(n^2)情况)的概率减小到几乎等于0。在实际中,精心实现的快速排序一般都能以(O(nlogn)时间运行。
下面是一些常用的记法:
访问数组中的元素是常数时间操作,或说O(1)操作。一个算法如果能在每个步骤去掉一半数据元素,如二分检索,通常它就取O(logn)时间。用strcmp比较两个具有n个字符的串需要O(n)时间 。常规的矩阵乘算法是O(n^3),因为算出每个元素都需要将n对元素相乘并加到一起,所有元素的个数是n^2。
指数时间算法通常来源于需要求出所有可能结果。例如,n个元 素的集合共有2n个子集,所以要求出所有子集的算法将是O(2n)的。指数算法一般说来是太复杂了,除非n的值非常小,因为,在这个问题中增加一个元素就导致运行时间加倍。不幸的是,确实有许多问题 (如著名 的“巡回售货员问题”),到目前为止找到的算法都是指数的。如果我们真的遇到这种情况, 通常应该用寻找近似最佳结果的算法替代之。