- 博客(8)
- 收藏
- 关注
RSS订阅原创 《数据密集型应用系统设计》-分布式挑战、共识
分布式系统故障可能来自网络问题、时钟与时序问题等。对于单节点上，通常程序以确定的方式运行：要么工作，要么出错，不会出现摸棱两可现象。然而对于多节点，可能会出现系统的一部分正常工作，但其他某些部分出现难以预测的故障，称为“部分失效”。部分失效是不确定的，这种不确定性和部分失效大大提高分布式的复杂性。我们假设网络是跨节点通信唯一的途径，每台机器都有自己的内存和磁盘，一台机器不能直接访问另一台机器的内存或磁盘，除非通过网络发送请求。互联网大多数都是异步的，一个节点可以发送消息给另一个节点，但是网络不保证到达。处理
2022-06-05 19:05:53
231
1
原创 《数据密集型应用系统设计》-数据复制、分区
一、主节点与从节点同步复制与异步复制配置新的从节点处理节点失效复制日志的实现二、复制滞后问题读自己的写单调读前缀一致读复制滞后的解决方案三、多主节点复制适用场景处理写冲突拓扑结构四、无主节点复制节点失效时写入数据库Quorum一致性的局限性检测并发写......
2022-06-02 22:46:12
221
原创 《数据密集型应用系统设计》-事务
事务将应用程序多个读、写操作捆绑在一起成为一个逻辑单元。即事务中所有读写都是一个执行操作，整个事务要么成功（提交）、要么失败（中止或回滚）。但是不是所有应用程序都需要事务，有时可以弱化事务处理或者完全放弃事务。分别是原子性(A)、一致性(C)、隔离性(I)与持久性(D)。原子性例如多线程编程中，如果某线程执行一个原子操作，意味着其他线程无法看到操作的中间结果，它只能处于操作前或者操作后状态。故，在出错时中止事务，并将部分完成的写入全部丢弃，也许中止性比原子性更为准确。一致性ACID中的一致性主要是指对数据有
2022-06-02 22:11:17
192
原创 分布式系统学习笔记.二
六.共识回到全序广播问题。我们在 5.3 节中看到，总订单广播对于启用状态机复制非常有用。如幻灯片 86 所述，实现全订单广播的一种方法是指定一个节点作为领导者，并通过它路由所有消息。然后领导者只需要通过 FIFO 广播分发消息，这足以确保所有节点以相同的顺序传递相同的消息序列。然而，这种方法的最大问题是领导者是单点故障：如果它变得不可用，整个系统就会停止运行。克服这个问题的一种方法是通过手动干预：如果领导者不可用，可以通知人工操作员，然后此人重新配置所有节点以使用不同的节点作为其领导者。这个过程称为故
2022-05-28 20:40:28
335
原创 分布式系统笔记
1.3RPC1.对于远程函数的调用与局部函数的使用不同，虽然可以给函数一个类似的签名，但是调用远程功能会出现许多错误情况，比如函数中断，仅仅处理了局部请求等。2.接口定义语言，对于平台上不同编程语言实现的系统，要有一个能互通的，或者说，指定类型签名或函数调用的方式不是特定于任何一种编程语言（IDL）2.3系统模型两个将军问题：假设相互诚实，但是消息可能会出现丢失，即不可靠消息；拜占庭问题：消息是可靠的，但是节点不诚实。现在将两个问题放一起，节点和网络都可能以各种方式出错，这也是分布式系统
2022-05-25 21:41:36
572
原创 GO语言学习笔记（二）
六.循环1. if else在Go语言中，关键字` if `是用于测试某个条件（布尔型或逻辑型）的语句，如果该条件成立，则会执行 if 后由大括号`{}`括起来的代码块，否则就忽略该代码块继续执行后续的代码。if condition { // 条件为真执行}**condition 称之为条件表达式或者布尔表达式，执行结果需返回true或false。{ 必须在条件表达式的尾部**如果存在第二个分支，则可以在上面代码的基础上添加 `else `关键字以及另一代码块，这个代码块...
2022-05-21 23:01:48
125
原创 GO语言学习笔记（一）
一、变量1.1 标准格式var age int1.2 基本类型- bool- string- int（随系统，一般是占用4个字节）、int8(占一个字节)、int16(占两个字节)、int32(占4个字节)、int64（占8个字节）- uint（无符号整数）、uint8、uint16、uint32、uint64、uintptr- byte // `uint8 的别名`- rune // `int32 的别名 代表一个 Unicode 码`- float32、flo
2022-05-21 11:25:18
121
原创 《A Survey on Distributed Machine Learning》笔记
摘要：通过分布式系统进行机器学习，大概就是联邦学习吧1.引言通过分布式系统来增加并行和I/O带宽总量，第二节探讨机器学习的系统挑战以及如何采用高性能计算（HPC）的想法来加速和提高整个机器学习的可扩展性，第三节描述了分布式机器学习的参考架构；第四节介绍了最广泛使用的系统和库的生态，以及底层设计；第五节探讨了机器学习的主要挑战。2.机器学习-高性能计算挑战？目前机器学习的实际应用包括对于Commodity Off-The-Shelf High Performance Computing（商..
2022-05-15 14:38:19
841
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人