贪心算法
回溯算法
分治算法
动态规划
MapReduce本质就是分治算法,是Google大数据处理的三驾马车之一,另外两个是GFS和Bigtable。它在倒排索引,PageRank计算,网页分析等搜索引擎相关的技术中都有大量的应用。
MapReduce 框架只是一个任务调度器,底层依赖 GFS 来存储数据,依赖 Borg 管理机器。它从 GFS 中拿数据,交给 Borg 中的机器执行,并且时刻监控机器执行的进度,一旦出现机器宕机、进度卡壳等,就重新从 Borg 中调度一台机器执行。
一:如何理解分治算法
1,分治算法的核心思想其实就是四个字,分而治之,将原问题划分成n个规模较小,并且结构与原问题相似的子问题,递归地解决这些子问题,然后在合并其结果,就得到原问题的解。
2,分治算法的定义类似于递归,但区别在于:分治算法是一种处理问题的思想,递归是一种编程技巧。
3,分治算法一般都比较适合递归来实现,分治算法的递归实现中,每一层递归都会涉及这样的三个操作:
分解:将原问题分解成一系列子问题;
解决:递归地求解各个子问题,若子问题足够小,则直接求解;
合并:将子问题的结果合并成原问题;
4,分治算法能解决的问题,一般需要满足下面这几个条件:
原问题与分解成的小问题具有相同的模式;
原问题分解成的子问题可以独立求解,子问题之间没有相关性,这一点是分治算法跟动态规划的明显区别,
具有分解终止条件,即当问题足够小时,可以直接求解。
可以将子问题合并成原问题,而这个操作的复杂度不能太高,否则就起不到减小算法总体复杂度的效果。
二:分治算法应用举例分析
假设有n个数据,期望数据从小到大排序,那完全有序的数据的有序度就是n(n-1)/2。逆序度等于0;相反,倒序排序的数据的有序度就是0,逆序度是n(n-1)/2。除了这两中极端情况外,我们通过计算有序对或逆序对的个数,来表示数据的有序度或逆序度。
现在问:如何编程求出数组中的数据有序对个数或逆序对个数?
1,最简单的办法:拿每个数字和他后面的数字比较,看有几个比它小。将比它小的数字个数记作k,通过这样的方式,把每个数字都考察一遍后,对每个数字对应的k值求和,最后得到的总和就是逆序对个数。但时间复杂度是O(n^2)。
2,用分治算法,套用分治的思想,将书中分成前后两半A1和A2,分别两者中的逆序对数,然后在计算A1和A2之间的逆序对个数k3。那整个数组的逆序对个数就是k1+k2+k3。
要快速计算出两个子问题A1和A2之间的逆序对个数需要借助归并排序算法。
归并排序算法有个非常关键的操作,即将两个有序的小数组,合并成一个有序的数组。实际上,在合并的过程中,就可以计算这两个小数组的逆序对个数。每次合并操作,都计算逆序对个数,把这些计算出来的逆序对个数求和,就是这个数组的逆序对个数。
private int num