MIT算法导论01-课程简介及算法分析

MIT算法导论01-课程简介及算法分析

课程名：Introduction to Algorithms
课程编号：6.046J/18.410J
授课教师：Prof. Charles Leiserson Prof.Erik Demame

---

预备课程

1. 6.042，计算科学的数学基础
2. 6.001，Structure and Interpretation of Computer Programs《计算机程序的构造与解释》
3. 离散数学
4. 概论论

Analysis of Algorithms 算法分析

目的： 掌握分析算法的实用技巧，设计算法时知道哪种方式更有效。算法是关于计算机性能和资源利用的研究。

Q1: 程序设计时，有哪些东西是什么比性能更重要的？
正确性、可维护性、开发成本、稳定性、功能性、模块化、安全性、用户友好性等。

Q2: 这么多比性能更重要的东西，为何还要学习算法？

1. 性能决定程序可用还是不可用。算法总是处于解决问题的最前沿。算法能够将不可行变成可行。
2. 算法是一种描述程序行为的语言，已经被所有的实践者所采用的理论语言。它是一种让程序最为简洁的思考方式。

排序问题

问题描述： 输入数组$(a_1,a_2,a_3,\cdots a_n)$, 输出排好序的数组$a_1^{{}^{\prime }},a_2^{{}^{\prime }},a_3^{{}^{\prime }},\cdots ,a_n^{{}^{\prime }}$，使得$a_1^{{}^{\prime }}\le a_2^{{}^{\prime }}\le a_3^{{}^{\prime }}\le \cdots \le a_n^{{}^{\prime }}$

插入排序（Insertion sort）

Insertion-Sort(An)//Sorts A[1. .n]
  for j=2 to n
  	do key=A[j]
  		i=j-1
  		while i>0 and A[i]>key
  			do A[i+1]=A[i]
  				i=i-1
		A[i+1]=key

说明： 课程使用伪代码（pseudocode）描述程序。语法：使用缩进，相当于大括号。

Eg:
8 2 4 9 3 6
2 8 4 9 3 6
2 4 8 9 3 6
2 4 8 9 3 6
2 3 4 8 9 6
2 3 4 6 8 9

Running time 运行时间

• Depends on input(eg. already sorted)
• Depends on input size(6 elements vs 6*10^9)
  • parameterize in input size;
• Want upper bonds on the running time.
  • a guarantee to the user.

Kinds of analysis 分析方式

• Worst case(usually).
  T(n)= max time on any input of size n;

• Average case(sometimes).
  T(n)= expected time over all inputs of size n; (weighted average)
  Need assumption of statistical distribution(one of the most common assumptions is uniform distribution).

• Best case (bogus) ,useless, cheat一般不用最好情况分析，因为具有欺骗性，没有太多实际意义

What is insertion sorts worst-case time? 插入排序最坏情况下的运行时间

Depends on computer
- relative speed (on same machine)
- absolute speed (on different machine)

BIG IDEA asymptotic analysis 渐近分析

1. Ignore machine dependent constants
2. Look at growth of T(n) as $n\to \infty$

Asymptotic notation 渐近表示法

$\theta$ -notation: Drop low order terms and ignore leading constants.
Eg： $3n^3+90n^2-5n+6046=\theta (n^3)$
related O-notation and $\Omega$ -notation

as $n\to \infty$ , $\theta (n^2)$ algorithm always beats a $\theta (n^3)$ algorithm

asymptotic notation satisfies our issue of being able to compare both relative and absolute speed. 渐近表述能一举满足相对速度和绝对速度的双重比较要求。

但有时“低效算法”也有其意义，因为有时虽然有种算法在n趋于无穷大时比另一种要好，但临界值太大，一般不会有那么大的输入规模时，可以考虑使用“低效”算法。

需要在数学理解和工程直觉之间取得平衡才能写出好用的程序

如果你想成为一个编程高手，只要两年中每天坚持编程，如果你想成为一名世界级大牛，你既可以十年如一日每天坚持编程，也可以两年中每天编程，然后上一门算法可。

插入排序分析

• Worst- case: input reverse sorted
  $T(n)=\sum _{j=2}^n\Theta (j)=\Theta (n^2)$
  算术级数：Arithmetic series
  notes：$\Theta$是一种弱符号，不需要搞清楚它具体代表何种运算，与其说是一个运算符号，不如说他是个描述符号。
• 插入排序快吗？
  • n较小时比较快
  • 但n较大时不快

Merge sort 归并排序

if n=1, done
recursively sort 
   A[1,..., n/2] and  A[n/2+1 to n]
Merge 2 sorted lists

$T(n)$	Merge sort A[1…n]
$\Theta (1)$	1. if $n=1$, done
$2T(n/2)$	2. recursively sort $A[1,\cdots ,\lceil n/2\rceil ]$ and $A[\lceil n/2\rceil +1,\cdots ,n]$
$\Theta (n)$	3. Merge 2 sorted lists

Key subroutine: Merge
观察两个有序表头部元素哪个小。
Time=$\Theta (n)$ on n total elements

Recurrence 递归

$T(n)=\{\begin{array}{ll}\Theta (1)& ifn=1(usualyomit)\\ 2T(n/2)+\Theta (n)& ifn>1\end{array}$

Recursion tree 递归树
$T(n)=2T(n/2)+cn$(由于$\Theta (n)$是线性的，故可以显式地写成$cn,c>0$)

递归树高度：$h=lgn$，每级使用的时间为$cn$，叶节点数量为$n$，，所有叶节点用时$\Theta (n)$，总用时$T(n)=cn\ast lgn+\Theta (n)=\Theta (nlgn)$

在$n>30$时，归并排序就比插入排序快了。