Bill的数据库学习笔记3：External Sorting

已于 2024-08-15 11:27:04 修改
阅读量141 收藏
点赞数 2
文章标签： 学习 笔记
于 2024-08-06 17:32:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45895230/article/details/140960402
版权

2-way external merge sort

why is it needed

  • 将关系按排序键构建索引，并使用该索引按排序顺序读取关系。

  • 按排序顺序读取元组可能会导致每条记录进行一次磁盘访问，这可能非常昂贵，因为记录的数量可能远远大于块的数量

  • 如果这些record可以在硬盘上成连续的分配，那么这些访问、读取数据时就可以快很多，所以我们需要对这些数据进行物理的排序。

Sorting operation

  • relations可以完全被存放在ram中的情况：使用标准的排序技术，如快速排序、归并排序
  • relations的size大于可以使用的ram：使用外部归并排序算法(external sorting)

每一个pass都涉及到io，sort 完后将文件放回到disk中，再进行下一个pass

bill bill
关注
[转]高负载并发网站架构分析
bluehire的专栏
12-23 2万+
由于自己正在做一个高性能大用户量的论坛程序，对高性能高并发服务器架构比较感兴趣，于是在网上收集了不少这方面的资料和大家分享。希望能和大家交流 msn: defender_ios@hotmail.com ——————————————————————————————————————— ? 初创网站与开源软件 6 ? 谈谈大型高负载网站服务器的优化心得! 8 ? Lighttpd+Squid+Apach
cuda-bitonic-sorting:Bitonic Sorting Cuda C++ 和一些额外的
06-14
在"cuda-bitonic-sorting-master"这个项目中，我们可以期待找到实现上述步骤的源代码，包括主程序、CUDA kernel函数、数据传输和同步操作。此外，可能还会有测试用例和性能分析工具，帮助我们理解并优化Bitonic排序...
Bill的数据库学习笔记-projection投影， set， avg等
weixin_45895230的博客
08-15 333
基于sort的方法是业界标准。可以基于index来进行scanOrdered index，如果index是ordered，那么其scan的速度会更快。
[NOTE] WebGoat v8.2.2学习笔记
qq_43266093的博客
10-21 4147
[NOTE] WebGoat 文章目录[NOTE] WebGoat前言CIA常见编码形式OpenSSL使用docker安全SQL安全SQLiSQL特殊字符UNION&JOINS一个盲注payload&BP爆破SQLi防御预编译存储过程最小特权原则预编译的问题路径遍历认证失效JWTBASE64 URL一些风险点JWT签名密钥爆破Token的使用Tom&Jerry的题JWT使用注意事项密码重置账户信息输出安全问题密码重置链接安全密码敏感信息泄露XXE分类基本例子第一道题目代码审计找XXE
Java Web编程实战1~3章笔记
AnalogElectronic的博客
12-23 551
第1章 搭建开发环境 1.1 各种软件和框架的版本 JDK 7 Update 9 Eclipse 4.2 MyEclipse 10.6 Tomcat 7.0.32 MySQL 5.5.13 SQLyog 9.6.3 Struts 2.3.4 Hibernate 4.1.8 Spring 3.2.0 第2章 Java Web应用开发基础 2.1 Web 技术的发展 静态HTML 通用网关接口CGI ...
NoSQL数据库笔谈（转）
wintree的专栏
05-24 5608
序思想篇 CAP最终一致性 变体 BASE其他 I/O的五分钟法则不要删除数据RAM是硬盘,硬盘是磁带Amdahl定律和Gustafson定律万兆以太网 手段篇 一致性哈希 亚马逊的现状算法的选择 Quorum NRWVector clockVirtual nodegossip Gossip (State Transfer Model)
工具系列：TensorFlow决策森林_(5)使用文本和神经网络特征
数智笔记
12-25 1283
由于TF-DF下的每个学习算法可以以不同的方式使用验证数据，TF-DF在内部处理训练/验证拆分。这个例子将使用一个预训练的TF-Hub嵌入将文本特征转换为密集嵌入，并在其上训练一个随机森林模型。前面的例子使用了一个预训练的神经网络（NN）来处理文本特征，然后将它们传递给随机森林。不同的预训练嵌入可能适用于不同类型的文本（例如不同的语言、不同的任务），也适用于其他类型的结构化特征（例如图像）。模块训练一个使用文本特征的随机森林。因此，现在神经网络已经训练好了，决策森林模型将适应于神经网络层的训练输出。
高负载高并发网站架构分析
热门推荐
leirainy的专栏
12-21 5万+
由于自己正在做一个高性能大用户量的论坛程序，对高性能高并发服务器架构比较感兴趣，于是在网上收集了不少这方面的资料和大家分享。希望能和大家交流 msn: defender_ios@hotmail.com ———————————————————————————————————————  初创网站与开源软件 6  谈谈大型高负载网站服务器的优化心得! 8  Lighttpd+S
externalSorting
03-05
在"externalSorting-master"项目中，可能包含了实现这些策略的具体Java代码，通过阅读和学习这些代码，可以深入理解如何在实际开发中应用外部排序算法解决大规模数据的排序问题。对于Java开发者来说，掌握外部排序...
external-sorting:外部分类
03-14
在“external-sorting:外部分类”的主题中，我们将深入探讨这个重要的数据处理技术。 首先，外部排序的基本思想是将大数据集分成多个小块，每个块可以装入内存进行排序。这是因为内存的容量有限，而磁盘存储的数据...
External sorting
06-01
找了很久的外排序,不过现在很多都用数据库代替了,对提高代码功力还是有用的.
The Art of Computer Programming Volume 3 Sorting and Searching, 2nd Edition
05-29
《计算机程序设计艺术 第3卷 排序与搜索（第二版）》是计算机科学领域的一本经典著作，由Donald Knuth撰写。这本书深入探讨了排序和搜索算法的理论与实践，是计算机科学家和软件工程师的重要参考书籍。在Java编程...
10.2学习
2401_87363162的博客
10-02 1131
​ Spring AOP就是基于动态代理的，如果要代理的对象，实现了某个接⼝，那么Spring AOP会使⽤JDKProxy，去创建代理对象，⽽对于没有实现接⼝的对象，就⽆法使⽤ JDK Proxy 去进⾏代理了，这时候Spring AOP会使⽤基于asm框架字节流的Cglib动态代理 ，这时候Spring AOP会使⽤ Cglib ⽣成⼀个被代理对象的⼦类来作为代理。每个线程中都有一个自己的ThreadLocalMap类对象，可以将线程自己的对象保持到其中，各管各的，线程可以正确的访问到自己的对象。
Go基础学习10-原子并发包sync.atomic的使用：CSA、Swap、atomic.Value......
FLJS_T的博客
10-02 941
原子操作sync.atomic以及原子变量atomic.Value详细介绍。go中原生的支持原子操作的函数支持的变量类型int32、int64、uint32、uint64、uintptr，以及unsafe包中的Pointer。对于上述原子操作类型中的每一个，可以支持的数据类型有：==int32、int64、uint32、uint64、uintptr，以及unsafe包中的Pointer。但是否sync.Mutex变量能够保证操作的原子性。atomic.Value类型是开箱即用的，我们声明一个该类型的变量
6.824 Lab 2C 学习记录
kingsill的博客
09-29 326
最后10s，开始的时候，恢复网络，插入一个数据，等待这个数据被提交，如果超过这10s就报错。2C的test中的unreliable figure8算是给博主的迎头一棒，需要根据raft论文的figure8进行解决，leader。根据前任及博主自己的经验，unreliable figure8的除了上述这一点以外，需要对。博主由于之前的不严谨，给自己留下了很大的改进困难，最后不得不重构代码。进行一定的设计，可以参考课程里老师提出的意见。一下为博主的github仓库，需要的可以参考。有一定的考验，那么就需要对。
【DirectX sdk 学习使用】
qq_41610493的博客
10-01 367
设置包含目录：打开你的项目属性，导航到VC++目录，然后在包含目录中添加DirectX SDK的Include文件夹路径。设置库目录：同样在VC++目录中，在库目录中添加DirectX SDK的Lib文件夹路径。运行安装程序：下载完成后，找到下载的安装程序（通常是一个.exe文件），双击运行。选择安装路径：选择你希望安装DirectX SDK的路径，或者使用默认路径。如果你有任何问题或需要进一步的指导，请随时告诉我。接受许可协议：在安装向导中，阅读并接受许可协议。完成安装：点击“安装”按钮，等待安装完成。
aws(学习笔记第二课) AWS SDK（node js）
最新发布
sealaugh32的专栏
10-06 518
注意，可以在create server的同时，执行。index.js以及各个lib/*.js。一定要和前面设定的密钥对名字一致。程序入口，定义了以下的功能。，因为可能有些原因，导致。这是前提条件，这里采用。的方式练习，首先安装。
纯软件小白 学习DDR5
hello_new_life的博客
09-29 976
读写 driver前添加一个128位的临时存储位置“Burst Buffer”,我们用128条导线连接到128位缓冲区位置，接下来10位列地址被分成两部分，6bit用于多路复用器，4bit用于突发缓冲器。
数据库性能优化：MySQL锁问题与MyISAM分析
"锁的问题-mysql数据库性能优化讲座" 在MySQL数据库性能优化中，锁机制扮演着至关重要的角色。本讲座主要关注的是如何处理和优化与锁相关的问题，以提升数据库性能。MyISAM存储引擎使用的是表级锁，这意味着在进行...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值