我们为什么需要分布式系统?

分布式系统解决了什么问题?

简单来说,分布式系统的出现,主要是为了解决单体系统的不足。

  • 分布式系统解决了单机性能瓶颈导致的成本问题。由于摩尔定律失效,廉价PC机的性能瓶颈无法继续突破,虽然小型机和大型机能够实现更高的单机性能,但是成本太高。
  • 分布式系统解决了用户量和数据量爆炸性地增大导致的成本问题。
  • 分布式系统满足了业务高可用的需求。
  • 分布式系统解决了大规模软件系统的迭代效率和成本问题。

总之,在互联网时代,单机系统无法解决成本、效率和高可用问题,这样就促成了分布式系统的诞生。

分布式系统如何解决成本、效率和高可用问题?

分布式系统是指由一组通过网络进行通信,为了完成共同的任务,而协调工作的计算机节点组成的系统。它是通过多工作节点,来解决单机系统面临的成本、效率和高可用问题。

如果一项技术能够平民化,那么它一定是在成本、效率和稳定性方面都有非常突出的表现。我们可以把分布式系统看作单机系统的平民化和物美价廉的版本。

分布式系统带来什么新问题?

分布式系统可以解决单体系统的不足,但有利就会有弊,分布式系统也带来了内部工作节点的协调问题,主要体现在分布式系统内部组件、实例之间,通过异步网络进行通信和协调的问题上。

分布式计算带来的协调问题

主要包括以下几方面:

  • 怎么找到服务? 在分布式系统内部,会有不同的服务,服务A怎么找到服务B,是需要解决的问题,我们一版使用服务注册与发现的机制来解决。
  • **怎么找到服务实例?**在找到服务后,当前的请求需要转发到服务的哪一个实例呢?一般来说,如果同一个服务的实例是完全对等的(无状态的),那么按照负载均衡的策略来处理就足够了,如果同一个服务的实例是不对等的(有状态的),那么就需要通过路由服务来确定将当前请求转发到哪一个服务实例上。
  • 怎么管理配置? 在分布式系统内部,会有不同的服务,每个服务会有多个实例,并且还可能会自动扩缩容,在这种情况下,通过配置文件的方式来管理配置是低效、易出错的,我们一般是通过一个中心化的存储来统一管理系统的配置,即配置中心。
  • 怎么进行协同? 在分布式系统中,不同的功能模块已经拆分成不同的服务,并且一般运行在不同的机器上,这时就需要引入分布式事务来处理复杂业务。
  • 怎么确保请求只执行一次? 在分布式系统中,各个模块之间通过网络进行连接,如果出现网络抖动等情况,会导致模块之间的调用失效,而调用失败就可能触发重试策略,使得程序可能出现没有执行或者多次执行的情况。我们一般采用重试加幂等设计来确保请求只会被执行一次。
  • 怎么避免雪崩? 系统雪崩是指由于正反馈循环导致不断扩大规则的故障。一次雪崩通过是由于整个系统中,一个很小的部分出现故障而引发,进而导致系统的其他部分也出现故障。避免雪崩的策略主要有两个思路:1)快速失败和降级机制,2)弹性扩容机制。
  • 怎么监控告警和故障恢复? 我们需要完善分布式系统的监控,分布式追踪Trace,模拟故障的混沌工程以及相关的告警等机制,我们还需要做好故障恢复预案,确保在故障发生的时候,能够快速恢复故障。

分布式存储带来的协调问题

主要包括以下几方面:

  • 在CAP及其相关理论与权衡,我们需要理解ACID、BASE和CAP这三个理论。
  • 我们怎么做数据分片,我们需要解决怎么将数据按照一定的规则,分别存储到不同的机器上面,目前主要采用Hash和Region分片的策略。
  • 我们怎么做数据复制,目前的主要方案有中心化方案和去中心化方案。
  • 我们怎么做分布式事务。
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
要编码一个简单的分布式系统,我们需要考虑以下几个方面: 1. 通信协议:分布式系统需要通过网络进行通信,因此需要选择一个通信协议。常见的协议有TCP/IP、HTTP、RPC等。 2. 数据存储:分布式系统需要存储数据,可以选择关系型数据库、NoSQL数据库、分布式文件系统等。 3. 任务分配:分布式系统需要将任务分配给不同的节点进行处理,可以选择基于Master-Worker的任务分配方式。 4. 容错机制:分布式系统需要具备容错机制,即当某个节点出现故障时,其他节点能够接管其任务。 下面是一个简单的分布式系统的代码示例,该系统实现了Master-Worker的任务分配方式,使用TCP/IP协议进行通信,数据存储使用Redis: Master节点代码: ``` import socket import redis # 连接Redis数据库 redis_conn = redis.Redis(host='localhost', port=6379, db=0) # 创建socket对象 server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM) # 绑定IP和端口号 server_socket.bind(('localhost', 8000)) # 监听请求 server_socket.listen(5) while True: # 等待客户端连接 client_socket, client_address = server_socket.accept() # 接收客户端发送的任务 task = client_socket.recv(1024) # 将任务分配给Worker节点 worker_ip = redis_conn.rpop('worker_ips') worker_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM) worker_socket.connect((worker_ip, 8000)) worker_socket.send(task) # 关闭socket worker_socket.close() client_socket.close() ``` Worker节点代码: ``` import socket # 创建socket对象 server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM) # 绑定IP和端口号 server_socket.bind(('localhost', 8000)) # 监听请求 server_socket.listen(5) while True: # 等待Master节点分配任务 master_socket, master_address = server_socket.accept() # 接收任务 task = master_socket.recv(1024) # 处理任务 result = ... # 将结果返回给Master节点 master_socket.send(result) # 关闭socket master_socket.close() ``` 以上代码仅为示例,实际情况下需要根据具体需求进行修改和完善。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值