大数据的排序方法

最新推荐文章于 2024-05-06 22:23:11 发布

weixin_34032792

最新推荐文章于 2024-05-06 22:23:11 发布

阅读量165

点赞数

文章标签：大数据

原文链接：http://www.cnblogs.com/php5/archive/2010/08/14/1799586.html

版权

题目：假设有100亿条数据，要取出前最小100条数据，要怎么去做呢？

方法是：用分布式排序算法，先把记录遍历，然后放入自定义的一个缓存区，每次从这个区域里取出最小值

去排序，我们可以选择一种比较简单的算法（二分法）。

转载于:https://www.cnblogs.com/php5/archive/2010/08/14/1799586.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_34032792

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

排序

weixin_43339889的博客

07-04

893

本文主要分析二分法，冒泡排序和快速排序

一种基于双向链表的大数据快速排序方法_doubleLinkListInsertAndQsort.zip

热门推荐

凌语小辉

03-29

1万+

http://www.51projob.com/a/bishimianshi/hailiangshuju/2012/0322/111.html 处理海量数据问题，无非就是：分而治之/hash映射 + hash统计 + 堆/快速/归并排序； Bloom filter/Bitmap；Trie树/数据库/倒排索引；外排序；分布式处理之hadoop/mapreduce。本文

大数据排序算法

猪大肠的世界

04-16

3218

一、快速排序(用的比较多) (1) 递归对所有数据分成[a,b）b（b,d]两个区间，(b,d]区间内的数都是大于[a,b)区间内的数 (2) 对(b,d]重复(1)操作，直到最右边的区间个数小于1000个。注意[a,b)区间不用划分 (3) 返回上一个区间，并返回此区间的数字数目。接着方法仍然是对上一区间的左边进行划分，分为[a2,b2）b2（b2,d2]两个区间，取（b2,d2]区间。如果...

大数据排序系统设计.pptx

05-21

### 大数据排序系统设计 #### 一、大数据排序算法选择与分析 1. **MapReduce框架排序**： - **适用场景**：适用于处理TB级甚至更大的数据量。 - **工作原理**：采用“分而治之”的策略，将大数据集分割成小数据...

利用双向走动法改进冒泡排序算法C语言源代码 .rar_冒泡排序_大数据排序_小程序_排序算法

09-23

传统的冒泡排序法是这样操作：从前往后，依次比较两个相邻的元素，如果逆序则交换这两个元素值，然后继续往后操作；到了数据尾部时，就找出了一个最大值（或最小值）。然后重复上面的操作n-1次（n为元素个数）。相关...

大数据学习资料全排序二次排序

12-03

"顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶大大大"这部分看起来像是一种用户反馈或者评价，可能是对学习资料的高度赞赏，表示这些资料对理解大数据排序，特别是Hadoop环境下的二次排序非常有帮助。在大数据处理中，二次排序...

python 大数据排序使用python 对一个txt文件的大量数据进行排序后输出到一个文件中，内置例子

04-25

python 外排序- 使用python 对一个txt文件的大量数据进行排序后输出到一个文件中，内置例子；举例使用了5000万个数据，排序时间大约2小时20分钟

【数据结构】经典八大排序算法（万字大总结+动图）_数据结构排序算法(1)

kOS0ym的博客

05-06

647

归并排序（MERGE-SORT）是建立在归并操作上的一种有效的排序算法,该算法是采用分治法（Divide andConquer）的一个非常典型的应用。将已有序的子序列合并，得到完全有序的序列；即先使每个子序列有序，再使子序列段间有序。因为快排在实现排序的时候，当区间已经变小了，那么它的数据就相对已经有序了很多，此时我们就可以使用插入排序对它的小区间进行排序，插入排序对相对有序的数据进行排序效率是比较高的。其实快速排序经过上面的三数优化之后，大体上已经没有很多问题，也不会出现最坏的情况，但是还可以进行优化。

大数据集排序

weixin_42612804的博客

01-03

232

对于大数据集的排序，常用的方法有快速排序、归并排序和堆排序。快速排序是一种分治算法，它将一个数组分成两个子数组，其中一个子数组的所有元素都比另一个子数组的所有元素都要小，然后对两个子数组分别进行排序。归并排序是一种分治算法，它将一个数组分成两个子数组，然后对两个子数组分别进行排序，最后将两个有序的子数组合并成一个有序的数组。堆排序是一种选择排序，它将数组看作一个二叉树，每次将最大的元素和数组...

大数据排序问题

YZ930035683的博客

04-12

364

问题一个文件中有9亿条不重复的9位整数，对这个文件中数字进行排序直接想法 9亿条（9e8）数据，每个数据能用int存储因此所需要内存 9e8x4B = 3.6e9B = 3.6GB,这是装载所需要的排序复杂度一般都是nlogn 因此需要的内存更大方法一数据库排序将文本文件导入到数据库中，让数据库进行索引排序操作后提取数据到文件。评价操作简单，运算速度较慢，对数据库设备...

位图如何实现大数据排序与查找

Clement

08-08

297

我们有 1 千万个整数，整数的范围在 1 到 1 亿之间。如何快速查找某个整数是否在这 1 千万个整数中呢？当然，这个问题还是可以用散列表来解决。不过，我们可以使用一种比较“特殊”的散列表，那就是位图。我们申请一个大小为 1 亿、数据类型为布尔类型（true 或者 false）的数组。我们将这 1 千万个整数作为数组下标，将对应的数组值设置成 true。比如，整数 5 对应下标为 5 的数组值设置为 true，也就是 array[5]=true。当我们查询某个整数 K 是否在这 1 千万个整数中的时候，

转载大数据排序很好的思想

天道酬勤

02-16

179

算法的力量：位运算在排序与搜索中的应用楔子: 问题:假设一个文件中有9亿条不重复的9位整数，现在要求对这个文件进行排序。一般解题思路: 1、将数据导入到内存中 2、将数据进行排序　（比如插入排序、快速排序） 3、将排序好的数据存入文件难题: 一个整数为4个字节即使使用数组也需要900,000,000 * 4byte = 3.4G内存对于32位系统，访问2G以上的内存非常困难...

简单模拟对大数据进行排序的整个过程

六轱辘的专栏

03-20

771

从头到尾模拟对大数据进行排序的整个过程！

大数据排序算法的来龙去脉

weixin_30699235的博客

11-10

1. 概述排序算法是计算机技术中最基本的算法，许多复杂算法都会用到排序。尽管各种排序算法都已被封装成库函数供程序员使用，但了解排序算法的思想和原理，对于编写高质量的软件，显得非常重要。本文介绍了常见的排序算法，从算法思想，复杂度和使用场景等方面做了总结。上海尚学堂大数据培训组原创，陆续有大数据相关技术文章奉上，请多关注！ 2. 几个概念（1）排序稳定：如果两个数相同，对他...

数据量极大时用什么排序方法比较好

weixin_41473153的博客

04-27

1万+

1.普遍认为：当N很小时，快速排序慢，归并排序快当N很大时，并且有序程度高时，快速排序最快当N很大时，并且有序程序低时，堆排序最快快速排序是目前基于比较的内部排序中被认为是最好的方法，当待排序的关键字是随机分布时，快速排序的平均时间最短；堆排序所需的辅助空间少于快速排序，并且不会出现快速排序可能出现的最坏情况。这两种排序都是不稳定的。若要求排序稳定，则可选用归并排序。先利用直接插入排序求得较长...

大量数据的排序，可以用哪些种排序算法？

赵凯的博客

10-10

1万+

归并排序快速排序堆排序对于内存足够大的大量数据排序，一般来说用归并排序比较好的，因为他的读取次数会比较少（在数据挖掘的理论里面，读取次数越少，排序方法越快），同时是稳定的；但是如果内存空间不足，就自然要减少次数了，所以也可以用快速排序，快速排序是目前基于比较的内部排序中被认为是最好的方法，当待排序的关键字是随机分布时，快速排序的平均时间最短；也可以利用堆排序，当N很大时，并且有序...

C++实现大数据排序算法比较

在这个项目中，学生张承美在指导老师湛新霞的指导下，使用C++编程语言实现了对大量数据的多种排序方法。以下是这个项目的主要内容： 1. **引言**：排序是数据处理的关键部分，尤其是在信息爆炸的时代，高效排序能...