MIT6.824 Lecture15 FaRm

最新推荐文章于 2024-06-17 15:26:23 发布
最新推荐文章于 2024-06-17 15:26:23 发布
阅读量113 收藏
点赞数
分类专栏： MIT 6.824学习记录 文章标签： 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63691156/article/details/129507234
版权

What is FaRm

这是一个高性能（1.4亿次事务每秒）， 一个数据中心， 分片（一个机器上只是一部分数据） kernal-pass和非容易失去的DRAM,和OCC（乐观并发控制），但没有真正大范围使用的系统

FaRm的设置

（）一台机器上有准备，有一个主和另一个或者多个机器分片的备份，每个object是64bit的开头（1bit的lock flag和63bit的版本号）和数据 

CPU使用率，内核旁路 RDAM

 事务使用RDMA

使用occ，read without locking， 有一个验证环节，就是要看能不能拿到锁（拿不到锁说明有人拿着锁，在改，版本号必plus）或者版本号不对，就abort

执行阶段和提交阶段

cm先读，拿到version number 然后进行事务，验证，然后成功的话，把日志传给备份，备份完了，就把所以参加的记录上commit

总结

1.快

2.少的冲突

3.datas fit in memory

4.备份在一个数据中心

5.奇特的硬件

额外的参考资料

论文阅读《No compromises: distributed transactions with consistency, availability, and performance》_东东儿的博客-CSDN博客

 

boring_111
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Distributed Systems Engineering Lecture notes (MIT 6.824)
03-10
Distributed Systems Engineering Lecture notes (MIT 6.824)
MIT 6.001 Lecture Notes
06-05
MIT 经典 6.001 课程的课程资料，配套教科书《计算机程序的构造和解释》使用，带你领略和真正掌握何为计算机科学 and 何为编程！
MIT6.824 FaRM论文精读
weixin_46840831的博客
05-27 497
文章目录IntroductionHardware trendsNon-volatile DRAMRDMA networkingProgramming model and architectureDistributed transactions and replication Introduction FaRM可以在提供ACID分布式事务的情况下保证strict serializability，high availability，high throughput，low latency。 FaRM实现以上保证基
6.824 2020春 论文阅读 FaRM
passenger12234的博客
02-24 219
0. Prelude This article is relevant to lecture 14. Although this paper take a lot of space to talk about fault recovery, . 1. Overview FaRMis distributed in-memory database , which consists of many machines in one datacenter(including clients) and leverag
论文阅读《No compromises: distributed transactions with consistency, availability, and performance》
东东儿的博客
02-08 570
阅读思路： 分布式事务的一个研究型系统（不是已经落地的工程实现） 与spanner不同之处在与 spanner可以跨数据中心，论文中的FaRM系统只能在单数据中心，但是性能非常高。 首先高性能的原因来自于两个不同的硬件： 非易失性的DRAM RDMA（remote direct memory access） 非易失性内存的意思大概是普通的DRAM外挂了电源，在机器断电的情况下，外挂电源会生效（但是可能仅能支持很短一段时间，也许是几分钟），在外挂电源生效时，进程会停止工作，将DRAM中的数据全部落盘，然后
笔记 MIT6.824 Lecture 14: Optimistic Concurrency Control
Bokk的博客
11-29 488
目录前言一、FaRM1.1 对比spanner1.2 setup1.3 how to get high performance1.4二、Optimistic Concurrency Control （OOC）2.1 原因三、commit的过程总结 前言 主要讲了乐观锁在分布式事务中的应用，重点在于理解paper的Figure4 一、FaRM 1.1 对比spanner FaRM的速度比spanner快很多(提升了100倍)，FaRM的bottleneck是CPU time FaRM在90台机器下能达到10
2020 MIT 6.824 分布式系统课程
热门推荐
DataFlow范式
02-26 1万+
MIT 6.824，笔者在几年前刷完了一遍，过程还是相当折磨人的，但受益颇多。如今已是 2020 年了，这个特殊的一年，笔者想和大家一起拿起小板凳，准备好笔记本，再来完整地学习 MIT ...
MIT 6.824 Lecture 2 RPC And Threads
m0_63691156的博客
02-08 144
MIT 6.824 2021学习笔记
Mit 6.824 (三）
weixin_48433164的博客
02-25 2112
文章目录分布式系统笔记（二）lecture 7 分布式系统笔记（二） lecture 7
MIT - 6.824 全课程 + Lab 博客总览
JehanRio's Private Blog
08-15 2064
写这篇博客的原因呢，是因为我最近刚开始接触分布式这块的内容，也是刚开始学习大名鼎鼎的MIT-6.824。当然，今年2023年已经改名叫做6.5840了，但问题不大。这里贴出今年的课程表和网课地址，网课共有2个版本，一个20年，一个21年，20年是Morris教授，弹幕更多；21年是Frans教授，据说更好理解。2020 MIT 6.824 分布式系统MIT 6.824 2021 分布式系统 [中英文字幕]为什么要写博客呢？
CMU 15445 vs MIT6.824
laiyuhua120的博客
07-11 642
对学习CMU 15445 和 MIT 6.824课程的总结
MIT 6.S094 lecture5.zip
10-02
MIT 6.S094 lecture5.zip
MIT 6.S094 lecture4.zip
10-02
MIT 6.S094 lecture4.zip
Operating System Lecture Notes (MIT 6.828)
10-22
Operating System Lecture Notes (MIT 6.828) Operating System Lecture Notes (MIT 6.828)
从源码分析 vllm + Ray 的分布式推理流程
阿里技术
06-12 1349
随着 LLM 模型越来越大，单 GPU 已经无法加载一个模型。以 Qwen-14B-Chat 模型为例，模型权重大概 28GB，但是单个 NVIDIA A10 仅有 24GB 显存。如果想要在 A10 上部署 Qwen-14B-Chat 模型，我们需要将模型切分后部署到 2 个 A10 机器上，每个 A10 卡加载一半的模型，这种方式称之为分布式推理。社区涌现了很多支持分布式推理的框架如 vllm、deepspeed-mii，rtp-llm 等。
分布式+可移植，上云后降本增效的关键
最新发布
AKAMAI_CHINA的博客
06-17 679
试想一下：如果没有云计算，商业将会是什么样子？云计算和多云战略的出现为全球企业带来了革命性的变化。然而，虽然技术已经发展了这么多年，但“多云”所固有的复杂性仍然是企业面临的主要痛点。选择多云战略的企业，无不希望在提高性能的同时控制云成本支出。是否有什么最佳实践能和帮助我们实现这一目标？在Akamai看来，随着技术的不断发展和日渐成熟，目前想要实现这个目标，方法相比云技术诞生之初已经有了很大区别。现在，上云企业更需要看重的，应该是云平台的“分布式”特性，以及基于微服务的可移植能力。
分布式管理
wy749929317的博客
06-14 602
分布式管理是指在一个由多个独立计算机节点组成的分布式系统中，通过对这些节点的资源、服务、数据进行统一的协调、控制和优化，以实现整个系统的高效、稳定、可靠运行。通过分布式管理，云计算平台能够实现对计算、存储和网络资源的统一管理和调度，为用户提供弹性、高效的云服务。：在物联网应用中，分布式管理能够实现对大量传感器、设备和数据的连接、管理和分析，为物联网应用提供可靠、高效的支持。：在大数据处理和分析领域，分布式管理能够实现对大规模数据集的分布式存储、处理和查询，提高数据处理的效率和准确性。
服务端⾼并发分布式结构演进之路
qq_45875349的博客
06-13 923
在进行技术学习过程中，由于大部分读者没有经历过一些中大型系统的实际经验，导致无法从服务端⾼并发分布式结构演进之路-----在进行技术学习过程中，由于大部分读者没有经历过一些中大型系统的实际经验，导致无法从全局理解一些概念，所以本文以一个"电子商务"应用为例，介绍从一百个到千万级并发情况下服务端的架构的演进过程，同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知，方便大家对后续知识做深入学习时有一定的整体视野。
torch.optim.RMSprop（）
06-04
Neural Networks for Machine Learning](http://www.cs.toronto.edu/~tijmen/csc321/slides/lecture_slides_lec6.pdf)》。 在使用`torch.optim.RMSprop()`时，我们可以指定一些参数，比如学习率、权重衰减（weight...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值