构造最优二叉查找树的时间复杂度分析

最新推荐文章于 2024-03-11 09:30:00 发布

linghu_323

最新推荐文章于 2024-03-11 09:30:00 发布

阅读量5.5k

点赞数 4

分类专栏： C++ 文章标签：算法 n2 search tree

C++ 专栏收录该内容

42 篇文章 1 订阅

订阅专栏

概念

      二叉查找树（BST，Binary Search Tree） ，又名二叉搜索树或二叉检索树，是一颗满足如下条件的树：
      1、每个节点包含一个键值
      2、每个节点有最多两个孩子
      3、对于任意两个节点x和y，它们满足下述搜索性质:
            a、如果y在x的左子树里，则key[y] <= key[x]
            b、如果y在x的右子树里，则key[y] >= key[x]

      最优二叉查找树（Optimal BST，Optimal Binary Search Tree）
      最优二叉查找树是使查找各节点平均代价最低的二叉查找树。具体来说就是：给定键值序列 K = <k₁ , k₂ , . . . , k_n >，k₁ < k₂ <· · · < k_n ，其中键值k_i ,被查找的概率为p_i ，要求以这些键值构建一颗二叉查找树T，使得查找的期望代价最低（查找代价为检查的节点数）。
      下面是对于查找期望代价的解释：
      对于键值k_i , 如果其在构造的二叉查找树里的深度（离开树根的分支数）为depthT(k_i )，则搜索该键值的代价= depthT(k_i ) +1（需要加上深度为0的树根节点）。由于每个键值被查找的概率分别为p_i ，i=1,2,3…,n。所以查找期望代价为：
      E[T的查找代价] = ∑_i=1~n (depthT(k_i ) +1) · p_i

时间复杂度

      1、穷举
      穷举构造最优二叉查找树，其实就是这样的一个问题：
      给一个拥有n个数的已排序的节点，可以将其构造成多少种不同的BST（用来找到一个最优的二叉查找树）？
      设可以构造成T(n)个，那么枚举每一个元素作为根节点的情况，当第一个元素作为根节点时，其余n-1个构成右子树，无左子树，是n-1情况时的子问题，共T(n-1)种；当第二个元素作为根节点时，左子树有1个元素，右子树有n-2个元素，根据乘法原理共有T(1)T(n-2)种情况……依此类推得到：T(n) = T(0)T(n-1) + T(1)T(n-2) + T(2)T(n-3) + ...... + T(n-2)T(1) + T(n-1)T(0)；此外，有T(0)=T(1)=1。

下面来求解T(n)：

定义函数 f(x) = T(0) + T(1) · x + T(2) · x² + ......

那么有：

f(x)² = (T(0)² ) + (T(0)T(1) + T(1)T(0)) · x + (T(0)T(2) + T(1)T(1) + T(2)T(0)) · x² + ......

= T(1) + T(2) · x + T(3) · x² + ......

= (f(x) - T(0)) / x

= (f(x) - 1) / x

这样解方程得到 f(x) = [1 - (1 - 4x)^1/2 ] / 2x

      右边进行泰勒展开，再与定义式比较最终得到： T(n) = (2n)! / (n!(n+1)!)
      然后根据Stirling公式：n! ～ (2πn)^1/2 · (n/e)ⁿ
      于是有(2n)! / n!(n+1)! ～ (4n^1/2 · 2n²ⁿ ) / (2n^1/2 · nⁿ · (2(n+1))^1/2 · (n+1)ⁿ )

～ 4ⁿ · (n+1)^-3/2 · (n/(n+1))ⁿ

                                        ～ 4ⁿ · n^-3/2
      因此最后得到穷举方法构造最优二叉查找树的时间复杂度： T(n) = O(4ⁿ · n^-3/2 )

      2、递归
      实际上左右子树是互不影响的，不需要穷举所有左右子树的组合，所以不需要用乘法原理，加法原理就可以了，这样式子变为：
      T(n) = T(0) + T(n-1) + T(1) + T(n-2) + T(2) + T(n-3) + ...... + T(n-2) + T(1) + T(n-1) + T(0)
           = 2(T(0) + T(1) + T(2) + ...... + T(n-1))
           = 3T(n-1)
      所以得到T(n) = O(3ⁿ ) ，还是指数级的一个算法

      3、动态规划
      上面得到指数级算法的原因在于，计算了很多重复的子树情况，一些子树的查找代价被计算了很多遍；而一棵树如果是最优二叉搜索树，那么要么它是空树，要么它的左、右子树也是最优二叉搜索树，因此只需要将子树的查找代价记录下来，采用记忆化搜索或者是自底向上的动态规划的方法，虽然需要消耗一定的空间，但可以把时间复杂度从指数级降到多项式级，这些空间消耗也是可以接受的。

以下是采用自底向上的解法：

输入：键值序列 K = <k₁ , k₂ , . . . , k_n >，概率序列 P = <p₁ , p₂ , . . . , p_n >

输出：两个二维数组，Price[i][j]表示k_i 到k_j 构成的最优子树的查找代价，Root[i][j]表示表示k_i 到k_j 构成的最优子树的根节点位置（用于重构最优二叉查找树）

      算法1 ：
      For 子树大小size = 1 to n
        For 子树的起点start = 1 to (n - size + 1) //这样子树的终点即为 end = start + size - 1，长度为size
              For 该子树的所有节点作为根节点root = start to end

对于每个root，根据之前计算过的Price数组得到左右最优子树的代价，可直接得到该子树的代价price为：
左右子树的最优子树代价之和 + 所有节点的访问概率之和（因为所有节点都下降了一层）

在内层循环中找到代价最小的price和root分别记录在Price[start][end]和Root[start][end]中

下面分析这个算法的时间复杂度：

由于除了计算出我们最后需要得到的Price和Root二维数组，还产生了部分冗余的子树，因此不能简单的将算法归结为O(n² )的算法。

对于子树大小为1时，我们考察了n个子树；

对于子树大小为2时，一共产生了(n - 1)个最优子树，但是在我们的每次考察中，都将子树的所有节点作为根节点考虑过一次，因此每得到1个大小为2的子树，我们需要考察2个不同的子树来找到一个代价最小的，因此最后我们实际上考察了2(n - 1)个子树；

对于子树大小为3时，类似的，我们考察了3(n - 2)个子树；

……

对于子树大小为n时，我们考察了n个子树。

最后，我们一共考察了T(n) = n + 2(n - 1) + 3(n - 2) + ...... + n个子树。

求解这个公式依然可以借用之前的方法，定义函数 f(x) = 1 + 2x + 3x² + ...... = (1 - x)^-2

这样一来 f(x)² = T(1) + T(2) · x + T(3) · x² + ......

再借用泰勒展开得到 T(n) = (n + 2)(n + 1)n/6 = O(n³ )

或者把所有项视为n2，则有 T(n) ≤ n² + n² + n² + n² + ...... = (n+1)n² ≤ 2n³

把中间n/2项都视为n/4 · 3n/4的话，则有 T(n) ≥ n/2 · n/4 · 3n/4 = (3/32)n³

根据时间复杂度的定义有 T(n) = O(n³ )

      下面介绍一个定理，可以借此把动态规划算法的时间复杂度进一步降到O(n² )，详细的证明参见参考文献：
      定理1 ：Root[i][j-1] ≤ Root[i][j] ≤ Root[i+1][j] （Root数组定义见算法1）

      也就是说，算法1的第3个For就可以不用循环子树中的所有节点了，只要循环另两个子树的根节点之间的范围就可以了。算法如下，红色的为修改的部分：

      算法2 ：
      For 子树大小size = 1 to n
        For 子树的起点start = 1 to (n - size + 1) //这样子树的终点即为 end = start + size - 1，长度为size
              For 该子树的所有节点作为根节点root = Root[start][end-1] to Root[start+1][end]

在内层循环中找到代价最小的price和root分别记录在Price[start][end]和Root[start][end]中

在分析该算法的时间复杂度时应注意，考察的子树是与考察的内层循环中root数量一一对应的，而当start递进时，前一个root的终点正好等于后一个root的起点（算法中的红色部分），也就是说对于固定的size来说，考察的root的范围加起来应当首位相接而且至多刚好覆盖所有节点，因此对于每个size，最多只考察2n个root（这里缩放了一下），因此总共最多考察了2n · n = 2n² 个子树；另一方面，Root数组中每一个值对应得到的一个最优二叉查找树，也即至少需要考察n² 个子树。因此根据定义得到 T(n) = O(n² )

参考文献 ：最优二叉查找树的开山之作，Optimal Binary Search Tree

纠正一点，最优二叉查找树可以追溯到1974年的《The Design and Analysis of Computer Algorithms》

发表于2009年10月5日，最后更新于2009年11月4日（完）

如有不足，欢迎指正

版权声明：转载时请务必以超链接形式标明文章原始出处和作者信息及本声明。
http://blog.csdn.net/PeacefulBY