存储
文章平均质量分 87
SchopenhauerZhang
/*
以往: 十字路口 瑟瑟发抖
而如今:吾常身不离鞍,髀肉皆消。今不复骑,髀里肉生。
*/
我到了该读王小波的作品的阶段了
展开
-
【火山引擎数据传输工具 TOS import使用手册】
是火山引擎的TOS(对象存储)传输工具包,是从本地、S3或者其他云存储传输数据到TOS的常用工具;在使用过程中发现TOS import的。加入集群中有3个节点(IP分别为:1,2,3),以下列出必要的配置;在/root/tos-import 目录下有这些内容,后续会用到;不太全面,本文作为补充,方便大家上手,争取做到复制粘帖即可运行。解压安装,比如这里直接安装在root下;本文的服务器系统均为linux。原创 2024-03-25 22:05:06 · 879 阅读 · 0 评论 -
DLRover 部署指南之5分钟上手分布式模型训练,让你体验别样人生
这里逻辑目前看来似乎存在bug,如果旧节点长时间Err status,DLRover并不会主动清理,但是会拉起新的节点(因为组网最小集合不满足),于是发生失败的节点越多,新加入的节点越多,节点越多,失败的概率增大;仅安装基础CRDs,也是测试DLRover后续需要使用到的elasticjobs.elastic.iml.github.io和scaleplans.elastic.iml.github.io;前往https://golang.google.cn/dl/ 下载对应的版本包;原创 2024-01-16 23:50:48 · 1586 阅读 · 2 评论 -
关于共识算法Raft的常见误解
未完待续。原创 2023-10-15 11:11:28 · 365 阅读 · 0 评论 -
分布式系统理论基础
分布式系统面临的场景往往是众口难调,“这也要,那也要”,最后可能啥都得不到,这就是分布式系统的常态,没有灵丹妙药都是妥协和退无可退;其实类似金融中的不可能三角(固定汇率、自由市场、独立货币政策不能都得到),仔细思考会发现非常有趣;原创 2023-08-08 16:23:06 · 208 阅读 · 0 评论 -
车云一体化系统基础理论
最近在调研车云链路一体化的整套解决方案,涉及分布式消息队列(RocketMQ)、分布式存储(Doris)、离线数据处理(Spark)、用户行为日志分析(Flink);原创 2023-08-08 15:07:36 · 453 阅读 · 0 评论