分治算法--数据结构与算法之美--CH38

1. 什么是分治算法

  学了之前的课程,分治算法其实已经不陌生了。分治算法顾名思义“分而治之”,前边学过的快速排序,归并排序,二分查找,都是这种思想的应用。
  分治算法是一种思想,一般适合用递归实现,递归是一种编程技巧。

2. 分治算法解决什么问题

适合分治算法解决的问题应该满足以下条件:

  1. 原问题可以分解成相同模式的子问题;
  2. 子问题可以独立求解且相互间没有相关性,这一点是分治算法跟动态规划的明显区别;
  3. 具有分解终止条件,即问题足够小时,可直接求解;
  4. 可将子问题合并成原问题,而且合并操作复杂度不能太高,否则达不到分治的效果。

用递归实现的三个步骤:

  1. 分解,将原问题分解为一系列小问题。
  2. 解决,递归求解各个小问题,直到问题小到直接求解,终止递归。
  3. 合并,将子问题合并成为原问题。

3. 分治算法案例分析

3.1 逆序对求解

  在估算排序算法时间复杂度时,用到了逆序度和有序度的概念。如图,计算这组数据额逆序对。

解答:

  1. 将数组分成两个A1,A2,分别求出逆序对K1和K2,然后计算A1和A2之间的逆序对K3,即可求得原问题逆序对为K1+K2+K3。
  2. A1,A2依然可以按上述拆分求解,关键问题是A1和A2之间的逆序对 K3 如何求解。

  实现有一个巧妙的想法,用归并排序的思想求解,既能够拆分数组,又能够在merge过程中求解逆序对个数。如下图所示:

代码实现如下:


private int num = 0; // 全局变量或者成员变量
public int count(int[] a, int n) {
  num = 0;
  mergeSortCounting(a, 0, n-1);
  return num;
}
private void mergeSortCounting(int[] a, int p, int r) {
  if (p >= r) return;
  int q = (p+r)/2;
  mergeSortCounting(a, p, q);
  mergeSortCounting(a, q+1, r);
  merge(a, p, q, r);
}

private void merge(int[] a, int p, int q, int r) {
  int i = p, j = q+1, k = 0;
  int[] tmp = new int[r-p+1];
  while (i<=q && j<=r) {
    if (a[i] <= a[j]) {
      tmp[k++] = a[i++];
    } else {
      num += (q-i+1); // 统计p-q之间,比a[j]大的元素个数
      tmp[k++] = a[j++];
    }
  }
  while (i <= q) { // 处理剩下的
    tmp[k++] = a[i++];
  }
  while (j <= r) { // 处理剩下的
    tmp[k++] = a[j++];
  }
  for (i = 0; i <= r-p; ++i) { // 从tmp拷贝回a
    a[p+i] = tmp[i];
  }
}

3.2 MapReduce实现

  如果要处理1T、10T、100T的数据 ,一台机器处理由于内存问题和算力问题,效率非常低。可以考虑通过MapReduce进行集群并行处理。
  MapReduce 框架是一个任务调度器,依赖 GFS 存储数据,Borg 管理机器。从 GFS 拿数据交给 Borg 的机器执行,时刻监控机器执行,一旦出现宕机、进度卡壳等,就重新从 Borg 中调度一台机器执行。
  比如海量订单,可以按照时间或者金额等进行划分,利用线性排序中桶排序的思想,划分为小文件后,每个文件就能够在单个机器上完成处理,最后合并成大文件。

4. 思考心得

  1. 我们经常遇到某些问题的解决思想很巧妙,怎么也想不到的,实际上的确如此。前人经过很长时间的研究得到的结果,不要期望短期能够想到。比如逆序对用归并排序的思想,当给了提示之后能够改造实现,就已经很棒了。
  2. 很多思想都是通用的,比如MapReduce用桶排序思想进行分箱处理,我们在学习过程中要有这种知识连接的意识,要将学习的知识应用连接到一起。
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值