- 博客(172)
- 收藏
- 关注
RSS订阅原创 源码讲解MinIO 如何分布数据
在分布式存储中，数据通常通过一定的算法分布到多个节点（服务器）或盘（磁盘）上。MinIO 采用 Erasure Coding（纠删码） 和 分桶（bucket） 的方式，结合哈希算法对数据进行分布，以实现高效的数据存储和访问。MinIO 的数据分布主要依赖以下关键组件：• Erasure Coding：将对象分片为多个数据块和校验块。• 分桶机制：通过哈希确定桶的位置。• 一致性哈希：在节点扩展和缩减时，保证数据分布的平衡性。
2025-01-03 19:13:05
391
原创 【分布式一致性全知全会】（9）读未提交
未提交读是一种禁止脏写（dirty writes）的一致性模型，即两个事务在提交之前同时修改同一个对象。在 ANSI SQL 规范中，未提交读被认为是默认的、最宽松的一致性模型，允许所有行为；然而，等人 认为 ，它实际上应该禁止脏写。未提交读是一种事务模型：操作（通常称为“事务”）可能涉及按顺序执行的多个基本子操作。它还具有属性：操作可以作用于系统中的多个对象。读取未提交可以完全可用：在存在网络分区的情况下，每个节点都可以取得进展。
2024-12-24 17:30:48
328
原创 【分布式一致性全知全会】（8）读已提交
读已提交是一种一致性模型，它通过防止脏读来加强读未提交：事务不允许看到未提交的事务的写操作。已提交读取是一种事务模型：操作（通常称为“事务”）可以涉及按顺序执行的几个基本子操作。它还具有属性：操作可以作用于系统中的多个对象。已提交读可以完全可用：在存在网络分区的情况下，每个节点都可以取得进展。在不牺牲可用性的情况下，你还可以通过选择更强的单调原子视图来确保事务效果一起被观察到。为了提高性能，您可能希望允许脏读，并放宽到未提交读。请注意，已提交读取不会施加任何实时约束。
2024-12-18 14:31:08
325
原创 【分布式一致性全知全会】（7）单调原子模型
单调原子视图是一种一致性模型，它通过阻止事务观察先前提交的事务的部分（但不是全部）影响来增强已提交的读取。它表达了 ACID 中的原子约束，即事务的所有（或全部）影响都应发生。一旦事务 T2 观察到事务 T1 的写入，那么T1的所有影响都应该对 T2可见。这在强制执行外键约束和确保索引和物化视图反映其底层对象时特别有用。单调原子视图是一种事务模型：操作（通常称为“事务”）可以涉及按顺序执行的几个基本子操作。它还具有属性：操作可以作用于系统中的多个对象。
2024-12-17 14:56:44
338
原创 一个真正华为人的奋斗史- (十二)
---------------------分割线---------------------------------（本专题是一个系列连载，记录了一个老华为人的奋斗史，仅供各位在疫情期间自立自勉！华为22年+（1998-2021）太多的人和事，帖子中没有提及的。我心中还有一张长长的列表。希望以后再写更详细的。
2024-12-16 17:04:37
36
原创 【分布式一致性全知全会】（6）游标稳定性
是一种一致性模型，它通过防止丢失更新来增强读取提交。它引入了游标的概念，游标指的是事务正在访问的特定对象。事务可能有多个游标。当事务使用游标读取对象时，该对象不能被任何其他事务修改，直到游标被释放或事务提交。游标稳定性是一种事务模型：操作（通常称为“事务”）可以涉及按顺序执行的多个基本子操作。它也是一个多对象属性：操作可以作用于系统中的多个对象。游标稳定性无法完全实现；在存在网络分区的情况下，部分或所有节点可能无法继续工作。若要实现完全可用性，则以允许丢失更新为代价，请考虑使用已提交读取。
2024-12-13 10:17:58
424
原创 一个真正华为人的奋斗史- (十一)
不过风险是有本金全损失这个上限的，而回报的是没有上限的，这样看来，xx%回报的风险和xxx%回报的风险也许差别并不是特别大。所以我的观点，如果愿意承担高风险（本金丢失），则不要去找回报率是xx%的项目，而要尽力去找回报率是xxx%以上的项目。投资，没有抓住机会，不是我们水平不行，不是我们的智商不行，也不是我们的知识不行，只是因为我们没有那么多本金，我们的投资心态不行。有钱人因为钱多，他可以同时尝试多个高回报的项目，只要有一个成功，他就赚了，而大部分人是没有足够的资本做这样的事情。创造，就是自己创业。
2024-12-12 11:10:34
31
原创 一看就懂的分布式系统（一）简介&目录
本人在多个大厂从事分布式系统的开发和研究近二十年，对亚马逊的 Dynamo、谷歌的 BigTable 和 MapReduce、Apache 的 Hadoop 以及国内的OBS， TOS， COS， OSS，juiceFS 都有过涉猎和研究。鉴于自身对各种分布式系统的理解，在本专栏中我试图提供更易于理解的分布式系统介绍，能让分布式系统对于普通人来讲不再那么高不可攀。换句话说，分布式编程的核心是处理距离和拥有备份冗余。
2024-12-09 15:03:21
36
原创 一个真正华为人的奋斗史- (十)
（本专题是一个系列连载，记录了一个老华为人的奋斗史，仅供各位在疫情期间自立自勉！----------------------分割线---------------------------------总体来说，我感觉我运气还挺好。前面描述里，包括高考失利，工作岗位不合适等等，这些对我人生产生了影响，但是没有产生本质影响。我还是读了较好的大学，还是享受到了华为这颗大树的果实。和华为里那些高级别的同事们比较起来，我的待遇算很低的了，可是华为已经把我拉到超过社会90%人的高度了。
2024-12-09 10:34:37
183
原创 【linux】cgroup配置在机器OOM时选择进程原理讲解
参数作用取值范围影响oom_score表示进程在 OOM 时被杀死的概率，数值越高，越可能被杀死。0 到 1000根据 oom_adj 和 oom_score_adj 计算得出。oom_adj影响进程的 OOM 优先级，数值越高，进程越容易被 OOM 杀死。-17 到 15直接影响 oom_score，但 oom_score_adj 更常用。直接调整进程的 OOM 分数（oom_score），用于精细控制。-1000 到 1000。
2024-12-06 11:25:05
1026
原创 【分布式一致性全知全会】（5）快照隔离
在快照隔离系统中，每个事务似乎都在数据库的独立、一致的快照上进行操作。其更改在提交时间之前仅对该事务可见，提交时间之后，所有更改将以原子方式对稍后开始的任何事务可见。如果事务 T1 修改了对象x，而另一个事务 T2在 T1的快照开始之后、T1提交之前提交了对x的写入 ，则 T1必须中止。快照隔离是一种事务模型：操作（通常称为“事务”）可能涉及按顺序执行的多个基本子操作。它还具有多对象属性：操作可以作用于系统中的多个对象。快照隔离无法完全可用；在存在网络分区的情况下，部分或所有节点可能无法取得进展。
2024-12-05 10:07:46
1071
原创 一个真正华为人的奋斗史- (九)
（本专题是一个系列连载，记录了一个老华为人的奋斗史，仅供各位在疫情期间自立自勉！----------------------分割线---------------------------------继续谈工作。先做一个了备胎项目，一直做到2016年3月。在这个备份项目里，我充当SE、软件架构师同时写也代码、帮忙解决问题。这个备份项目，芯片是外购的，我们做软件，一边做一边摸索。2016年3月，项目结项，达到交付标准。在这个项目中，为了达到性能，我开创性的提出了针对SSD盘的缓存算法，这里给自己记一笔。
2024-12-03 15:32:30
924
原创 一个真正华为人的奋斗史-（八）
（八）华为2（2004-2012）（本专题是一个系列连载，记录了一个老华为人的奋斗史，仅供各位在疫情期间自立自勉！）----------------------分割线---------------------------------搬进百草园，每天不用坐车上班回家，让我感受到了时间的自由，也节省了体力。百草园里有超市、有银行、有理发店、有西餐厅，特别的还有那三味书屋。公司会每个月给工卡里充钱，所以百草园商业不只是住在百草园里面的人消费，而是所有的华为人都会去消费，热闹的很，年末场面更是火爆。当时
2024-12-02 15:15:42
580
原创 来聊一聊MySQL的Double write和Buffer Pool的关系
详细讲解了Double Write和Buffer Pool之间的关系和MySQL写入流程
2024-11-29 14:39:26
872
原创 一个真正华为人的奋斗史-（七）
（七）华为1（1998-2004）本专题是一个系列连载，记录了一个老华为人的奋斗史，仅供各位在疫情期间自立自勉！）----------------------分割线---------------------------------1998年7月10号，我和Q同学一起坐火车到达了深圳火车站，公司的班车已经等在火车站等我们了。班车载着我们驶向南油登良公寓楼，途经深南大道，看着玻璃幕墙的高楼大厦，我们惊讶，我们骄傲。公寓楼是新盖的，公司整栋租了下来给我们新员工住。两个人一间，我和Q同学一间。Q同学还在我
2024-11-29 11:31:00
531
原创 一个真正华为人的奋斗史-（四）
新学校，新同学，我的成绩降低下来了，化学成绩下降的特别厉害，排名也降到中等偏上，再也没有小学初中时的名列前茅了。现在分析原因，除了离家更远等客观原因外，一个重要的事实是我还是保持了初中的学习态度，根本没有用功学习，而高中知识根本无法想当然的就可以懂。高一暑假，从学校带了一本化学辅导书回家，整个暑假，无聊的我挑灯（煤油灯）夜读，彻底把辅导书里写的知识记了下来。一个年级有五个班，每个班50个人，其中有10人是当地一家有名的企业的插班生，还有大概10个本校初中部直升的学生，每个班级真正考进来的学生估计是30人。
2024-11-28 15:21:00
569
原创 【分布式一致性全知全会】（4）可重复读
准备用一个系列写透分布式技术里面的一致性的难题，通过这个系列，各位能彻底掌握分布式系统中的一致性。本篇是第篇。
2024-11-27 10:27:44
632
原创 一个真正华为人的奋斗史-（三）
食堂只有饭，没有菜的，菜是每家每户的孩子自己从家里带来的，带那种可以放很久的菜，豆豉之类的，每个人自己吃自己的。从我家一直向山上走，走到海拔最高处，穿越几个山头，再沿着一条溪流向下走到溪流出口，过河，再沿着另外一条溪流逆流而上，沿着山顶走一段原始公路，到达古镇东面的山顶上，再下山到古镇，整个路途人烟稀少。至于我自己，呵呵，我学习那么好，我都是被动的（逗大家一乐）。化学老师，年龄较大，和我家有点亲戚关系，天天鞭策我，说我是山旮旯里的，不好好学习，只能回家放羊（家里穷，可能真的只有一只羊可以放，不用数，哈）。
2024-11-26 09:23:09
634
1
原创 一个真正华为人的奋斗史-（六）
我们也忍不住开始玩游戏，玩的第一个游戏是仙剑奇侠传，当时看来，画面非常精美，我们师兄弟几个一起玩，坚持三天三夜，一起通关。后来系里的机房人太多，导师们又一起出钱，买了几台新电脑，放在一个单独的房间里，专门给导师和研究生写文档使用（当时还不能上网）。词典丢了，但我把词典里写了字（一九九五年免试推荐硕士研究生纪念，武汉工业大学研究生处）和盖了章的那一页保存了下来，小小的毛笔字写的非常漂亮。导师是新三届的考生，比我大24岁，写的专著里全部是复杂的数学模型和公式，我不知道怎么形容导师的厉害。
2024-11-25 14:19:18
533
1
原创 【分布式一致性全知全会】（3）线性化
准备用一个系列写透分布式技术里面的一致性的难题，通过这个系列，各位能彻底掌握分布式系统中的一致性。本篇是第篇。
2024-11-25 11:02:58
158
原创 一个真正华为人的奋斗史-（五）
每年过年，打工的乡亲们回来了，年轻人的穿着也开始潮起来，还有人带着大个头的卡带机回到家里，过年的时候，大声放着歌曲，响彻整个村子，当时没觉得是噪音，感觉很热闹。下火车后，坐了大巴车去学校，目光穿过巴士玻璃窗，看着这城市陌生的一切，激动和不安（钱少）掺杂着，我仿佛看到了我通过知识改变了的命运。在乡下，我从小就接触了一副牌升级的玩法，在高中时，已经可以和本地玩的很好的那个邻居（那个小升初给我准备面条和休息地方的老师，大我30岁左右）配对，并得到他的认可。这个打牌的技能，在进华为工作后，还对我的起了很大作用。
2024-11-23 16:42:33
525
原创 【分布式一致性全知全会】（2）可序列化
准备用一个系列写透分布式技术里面的一致性的难题，通过这个系列，各位能彻底掌握分布式系统中的一致性。本篇是第篇。
2024-11-22 16:04:24
873
原创 【分布式一致性全知全会】（1） 严格序列化一致性
非正式地，严格序列化（又称作PL-SS、Strict 1SR、Strong 1SR）意味着操作按照某种顺序发生，与这些操作的实时顺序一致；例如，如果操作 A 在操作 B 开始之前完成，那么 A 应该在序列化顺序中出现在B之前。严格可串行化是一种事务模型：操作（通常称为“事务”）可能涉及顺序执行的多个基本操作。严格可串行化保证操作以原子方式进行：事务的子操作似乎不会与其他事务的子操作交叉，从时序上严格区分开。它也是一种多对象属性：操作可以作用于系统中的多个对象。
2024-11-21 17:38:26
214
原创 【linux经典工具】tmux的好兄弟screen，作为程序员的你值得拥有
从程序员的角度来看，对比tmux ， screen 同样是一个极其方便的工具，尤其适合远程开发、后台运行任务、调试长时间运行的脚本等情况。以下是几个实际的例子，展示了 screen 的常用场景和具体用法。
2024-11-06 17:44:08
359
原创 【git】在多系统开发项目中如何通过git设置文件结尾实战
这篇文章是关于如何设置 Git，以便使用不同操作系统的人可以在同一个存储库中工作，而不会弄乱源文件的行尾。
2024-10-31 09:52:40
308
原创 【linux经典工具】作为一个合格的开发人员怎能不会tmux
tmux new -s session_name：创建新会话并命名。tmux ls：列出所有会话。tmux attach -t session_name：连接到指定会话。tmux kill-session -t session_name：杀死指定会话。Ctrl + b d：分离当前会话。Ctrl + b %：垂直分割窗格。Ctrl + b "：水平分割窗格。Ctrl + b o：切换窗格。Ctrl + b c：创建新窗口。Ctrl + b n：切换到下一个窗口。
2024-10-30 11:04:30
889
原创 【linux经典工具】就十分钟带你玩转awk，80%的场景全cover住了
这些是 awk 的一些高级用法，可以让你在文本处理上事半功倍！如果有特定的场景或需求，可以随时留言或者私信交流。炫技吧，骚年！
2024-10-23 17:47:03
424
原创 一文带你看懂DPDK内存管理
本文深入探讨了 DPDK（Data Plane Development Kit）的内存管理机制及其对高性能数据包处理的优势
2024-10-19 16:43:24
670
原创 【git】只需看完这篇你就能完全理解git使用中的报错了
在撰写有关 Git 的文章时，我注意到很多人都对 Git 的错误消息感到困惑。因此在这篇文章中，我将介绍 Git 的一系列错误消息，列出我认为每个错误消息中令人困惑的一些地方，并讨论当我对这些消息感到困惑时我会做什么。
2024-10-16 16:27:49
929
原创 【git】10分钟掌握git使用基础，工作中代码管理再无障碍
Git是一个功能强大且复杂的版本控制系统，通过一些基本命令和技巧，我们可以高效地管理代码、跟踪更改以及进行协作。无论是创建分支、合并分支，还是解决冲突、与远程仓库交互，Git都提供了灵活的命令和操作方法。通过熟练掌握这些功能，开发者可以更高效地进行项目管理，提高团队协作效率。
2024-10-11 14:15:08
652
原创 【git】聊聊那些git使用中的那些牛逼的参数，会用就是资深专家
像往常一样，我得到了大量出色的答案，并了解了许多我从未听说过的常见的 git 配置参数。我将列出这些参数，从（非常粗略地）最受欢迎的选项开始。所有参数可以在在man git-config或本页中查到。
2024-10-09 16:58:42
599
原创 【linux】推荐个自研的工具：一键式自动生成并更新ssl证书
现在的浏览器基本都要求是需要https去访问的，要支持就需要有https的ssl 证书。目前生成的长期证书都是要付费的。如果是免费的证书就只能是三个月的有效期。三个月之后就会过期，而每次去生成免费证书是很麻烦的。最好有个工具能去自动化生成。
2024-10-08 10:19:30
252
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人