Hadoop HDFS 数仓这些框架都是依赖分布式系统
分布式:是将多台服务器集中在一起,每台服务器都能实现总体中不同的业务,做不同的事情
我们区别一下单机模式和分布式模式的好处
单机模式:
我们实现一个电商系统,如果没有分布式模式,那就只有单机模式,什么是单机模式呢
单机模式:我的理解就是单机模式下,
在最后的服务器系统里,有用户交互系统,商品搜索系统,后台管理系统,
但是这些系统都是放在同一台电脑里,
我们的用户不管是谁都是直接访问这一台电脑,
这个服务器系统一旦发生故障,会对其他系统造成影响,
用户访问量太大也会对这台服务器系统造成压力
把很多的系统集中在一台机子上,一台机子承担了所有的业务量
单机模式升级之后,分布式的模式:因为一台机子承担不了多个系统,比如用户交互系统,商品搜索系统,后台管理系统,这些系统的业务量,于是采用分布式系统,什么是分布式系统
分布式系统就是把这几个不同的业务,分别放在不同的机子上,这些机子通过网络联系,来共同完成这个网站需要实现的业务,如图所示
采用分布式的模式就分担了单机模式的压力,
这个时候我们就可以形象的了解,单机模式,就是所有业务都堆放到单一机子里,
分布式模式就是,把不同业务分别堆放到不同的机子里,之间通过网络联系,
但是分布式模式也是有缺点的,
单点故障问题,当分别布置到不同机子上的这些系统都是通过网络连接起来,当一台机子坏了,整个系统某个业务就不能工作了,也会导致其他系统业务无法运转,
如何解决这个单点故障问题呢,我们要通过后面的集群来解决
集群就是,多台计算机可以干同一件事,集合几台廉价PC机组成一个群体,来干同一件事,分布式的升级版,整体架构其实还是分布式的形式,之间用网络连接起来,只是把原来的单个机子做一个系统,搞成了有备份子,其中一台机子坏了还有其他机子顶上
所以就是单机到分布式到集群,电脑数量在增加,模式的话,还是网络构成的拓扑结构
这里多了一个负载均衡的集群,有一台是备用机,用来任务的分派,比如用户交互系统有多少访问量,均衡的分给每一台机器
这样的集群就解决了分布式单点故障问题,因为有了集群,有一台电脑出现故障,其他电脑可以顶上做同样的工作,不一定只有三台,可以很多台组成一个集群
这就是集群
这是分布式