八大技术架构——升级之路

本文详细介绍了从单机架构到微服务架构以及容器编排的发展过程,包括每种架构的工作原理、优缺点及相关软件。从单机架构的简单部署到应用服务集群的高可用性,再到微服务架构的灵活性,最后探讨了容器编排如何简化部署和运维。每个阶段都针对不同的性能和扩展需求,展示了技术演进的脉络。
摘要由CSDN通过智能技术生成

目录

一、单机架构

简介

工作原理

架构优缺点

相关软件

二、应用数据分离架构

简介

工作原理

架构优缺点

三、应用服务集群架构

简介

出现原因

工作原理

架构优缺点

相关软件

四、读写分离/主从分离架构

简介

工作原理

架构优缺点

相关软件

五、冷热分离架构

简介

架构工作原理

架构优缺点

相关软件

六、垂直分库架构

简介

架构工作原理

架构优缺点

相关软件

七、微服务架构

微服务出现的原因?

简介

架构工作原理

架构优缺点

相关软件

八、容器编排架构

容器编排架构出现原因

简介

架构工作原理

架构优缺点

相关软件


一、单机架构


简介

单机架构是指应用服务和数据库服务公用一台服务器,出现在互联网早期,访问量比较少,单机足以满足需求

工作原理

 以电子商城为例,可以看到通过应用(划分了多个模块)和数据库在单个服务器上协作完成业务运行,具体的,用户在浏览器中输入 www.123.com,首先经过 DNS 服务将域名解析成 IP 地址,随后浏览器访问该 IP 对应的应用服务,所访问到的都是同一个服务器

架构优缺点

优点:部署简单,成本低。

缺点:存在严重的性能瓶颈,数据库和应用存在相互竞争资源。

相关软件

Web 服务器软件:Tomcat、Netty、Nginx、Apache 等

数据库软件:MySQL、Oracle、PostgreSQL、SQL Server 等

二、应用数据分离架构


简介

应用服务和数据库服务使用不同的服务器,这是由于单机存在严重的资源竞争,导致站点变慢而出现的。

工作原理

 以电子商城为例,可以看到应用(划分为很多个模块)和数据库在各自的服务器上通过网络协作完成业务运行。具体的用户输入域名经过 dns 解析后找到对应的应用服务器(Tomcat服务),再去访问 MySQL 服务器,拿到数据后返回给应用服务,最后返回给你用户。

架构优缺点

优点:成本相对可控、性能比单机有提升、数据库单独隔离,不会因为应用把数据库搞坏,有一定的容灾能力。

缺点:硬件成本变高、性能有瓶颈,无法应对海量并发。

三、应用服务集群架构


简介

在应用数据分离架构的基础上以集群的方式运作,并引入负载均衡(所有的用户请求会先经过负载均衡,再到服务器,当一个服务器接受请求过大时,负载均衡就会将请求分配到其他服务器上),控制集群平衡。

出现原因

单个应用不足支持海量的并发请求,高并发的时候站点响应变慢。

工作原理

 以电子商城为例,可以看到应用不再是一个,而是变成了多个,并通过负载均衡来支持海量数据并发。

那么他是如何进行流量调度的呢?常见的有一下几种方式:

  • Round-Robin 轮询算法:即非常公平地将请求依次分给不同的应用服务器。

  • Weight-Round-Robin 轮询算法:为不同的服务器(比如性能不同)赋予不同的权

    重(weight),能者多劳。

  • 一致哈希散列算法:通过计算用户的特征值(比如 IP 地址)得到哈希值,根据哈 希结果做分发,优点是确保来自相同用户的请求总是被分给指定的服务器。也就是我 们平时遇到的专项客户经理服务。

架构优缺点

优点:

  1. 应用服务高可用,应用满足高可用,不会一个服务出问题导致整个站点挂掉。
  2. 应用服务器具备一定的高性能:如果不访问数据库,应用相关处理通过扩展可以支持海量数据快速请求。
  3. 应用服务具有一定的扩展能力,支持横向扩展。

缺点:

  1. 数据库成为性能瓶颈,无法对数据库的量数据查询。
  2. 数据库是单点,没有高可用。
  3. 运维工作增多,扩展后部署运维工作增多,需要开发对应的工具对快速部署。
  4. 硬件成本较高。

相关软件

负载均衡软件:Nginx、HAProxy、LVS、F5 等。

四、读写分离/主从分离架构


简介

在上一层架构上,数据库成为瓶颈,而互联网应用一般读多写少,数据库承载压力大,主要是由这些读的请求造成的,那么我们可以把读操作和写操作分开,具体的,将数据库读写操作分散到不同的节点上,数据库服务器搭建主从集群,一主一从、一主多从都可以,数据库主机负责写操作,从机只负责读操作

工作原理

 以电子商城为例,可以看到数据库服务器不再是一个,而是变成了多个,数据库主机负责写操作,从机负责读操作,数据库主机通过复制将数据同步到从机

架构优缺点

优点

  1. 数据库的读取性能提升。
  2. 读取被其他服务器分担,写的性能间接提升。
  3. 数据库有从库,数据库的可用性提高了。

缺点

  1. 热点数据的频繁读取导致数据库负载很高。
  2. 当同步挂掉,或者同步延迟比较大时,写库和读库的数据不一致。
  3. 服务器成本需要进一步增加。

相关软件

MyCat、TDDL、Amoeba、Cobar 等类似数据库中间件等

五、冷热分离架构


简介

在上一层架构,海量的请求导致数据库负载过高,站点响应再度变慢,那么就引入缓存,实行冷热分离,将热点数据放到缓存中快速响应。

架构工作原理

以电子商城为例,可以看到多了缓存服务器,对于热点数据全部放到缓存中,不常用数据再去查询我们的数据库。

架构优缺点

优点

  1. 大幅降低对数据库的访问请求,性能提升非常明显。

缺点

  1. 带来了缓存一致性,缓存击穿,缓存失效,缓存雪崩等问题。
  2. 服务器成本需要进一步增加。
  3. 业务体量支持变大后,数据不断增加,数据库单库太大,单个表体量也太大,数据查询会很慢,导致数据库再度成为系统瓶颈。

相关软件

Memcached、Redis 等缓存软件。

六、垂直分库架构


简介

在冷热分离架构上,单机的写库会逐渐会达到性能瓶颈,需要拆分数据库,数据表的数据量太大,处理压力太大,需要进行分表,为降低运维难度,业界逐渐研发了分布式数据库,库表天然支持分布式,因此出现了垂直分库架构:数据库的数据被拆分,数据库数据分布式存储,分布式处理,分布式查询,也可以理解为分布式数据库架构。

架构工作原理

以电子商城为例,数据库是由多个主从库或者存储集群构成,支持分布式大规模并行处理。

架构优缺点

优点

  1. 数据库吞吐量大幅提升,不再是瓶颈。

缺点

  1. 跨库join、分布式事务等问题,这些需要对应的去进行解决,目前的mpp都有对应的解决方案。
  2. 数据库和缓存结合目前能够抗住海量的请求,但是应用的代码整体耦合在一起,修改一行代码需要整体重新发布

相关软件

Greenplum、TiDB、Postgresql XC、HAWQ 等,商用的如南大通用的 GBase、 睿帆科技的雪球DB、华为的 LibrA 等。

七、微服务架构


微服务出现的原因?

  1. 扩展性差:应用程序无法轻松扩展,因为每次需要更新应用程序时,都必须重新构建整个系统。
  2. 持续开发困难:一个很小的代码改动,也需要重新部署整个应用,无法频繁并轻松的发布版本。
  3. 不可靠:即使系统的一个功能不起作用,可能导致整个系统无法工作。
  4. 不灵活:无法使用不同的技术构建单体应用程序。
  5. 代码维护难:所有功能耦合在一起,新人不知道何从下手。

简介

微服务是一种架构风格,按照业务板块来划分应用代码,使单个应用的职责更清晰,相互之间可以做到独立升级迭代。

架构工作原理

 以电子商城为例,一个商城应用拆分成了多个微服务,如用户服务、交易服务和商品服务,相互之间协作支持整个商城的应用。

架构优缺点

优点

  1. 灵活性高:服务独立测试、部署、升级、发布。
  2. 独立扩展:每个服务可以各自进行扩展。
  3. 提高容错性:一个服务问题并不会让整个系统瘫痪。
  4. 新技术的应用容易:支持多种编程语言。

缺点

  1. 运维复杂度高:业务不断发展,应用和服务都会不断变多,应用和服务的部署变得复杂,同一台服务器上部署多个服务还要解决运行环境冲突的问题,此外,对于如大促这类需要动态扩缩容的场景,需要水平扩展服务的性能,就需要在新增的服务上准备运行环境,部署服务等,运维将变得十分困难。
  2. 资源使用变多:所有这些独立运行的微服务都需要需要占用内存和 CPU。
  3. 处理故障困难:一个请求跨多个服务调用,需要查看不同服务的日志完成问题定位。

相关软件

Spring Cloud、Dubbo

八、容器编排架构


容器编排架构出现原因

  1. 微服务拆分细,服务多部署工作量大,而且配置复杂,容易出错。
  2. 微服务数量多扩缩容麻烦,而且容易出错,每次缩容后再扩容又需要重新配置服务对应的环境参数信息。
  3. 微服务之间运行环境可能冲突,需要更多的资源来进行部署或者通过修改配置来解决冲突

简介

借助容器化技术(如docker)将应用/服务可以打包为镜像,通过容器编排工具(如k8s)来动态分发和部署镜像,服务以容器化方式运行

架构工作原理

以电子商城为例,一个商城应用拆分成了多个微服务,如用户服务、交易服务和商品服务,每一个微服务打包到容器之中,相互协作来完成系统功能,通过容器编排工具完成部署运维。

架构优缺点

优点

  1. 部署、运维简单快速:一条命令就可以完成几百个服务的部署或者扩缩容。
  2. 隔离性好:容器与容器之间文件系统、网络等互相隔离,不会产生环境冲突。
  3. 轻松支持滚动更新:版本间切换都可以通过一个命令完成升级或者回滚。

缺点

  1. 技术栈变多,对研发团队要求高。
  2. 机器还是需要公司自身来管理,在非大促的时候,还是需要闲置着大量的机器资源来应对大促,机器自身成本和运维成本都极高,资源利用率低,可以通过购买云厂商服务器解决。

相关软件

Docker、K8S

  • 2
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
《数据中台架构——企业数据化最佳实践》PDF是一本关于企业数据化的实践指南。该指南介绍了数据中台架构的概念和作用,以及在企业数据化过程中的最佳实践方法。 在这本指南中,首先对数据中台架构进行了详细的介绍。数据中台是一种将企业内外部数据集中管理和应用的架构模式。它通过统一的数据仓库、数据治理和数据服务层,实现了数据的集中管理和共享,提供了高效的数据支持和应用的基础设施。 指南还详细介绍了数据中台的组成部分和关键技术。数据中台包括数据采集、数据清洗、数据仓库、数据治理和数据服务等模块。指南提出了构建数据中台的最佳实践方法,如采用数据湖架构、数据流水线技术和分布式计算等。 此外,指南还强调了数据中台在企业数据化中的重要性和优势。数据中台能够实现数据的一致性和准确性,提供了高质量的数据支持和决策分析能力。它还可以加速企业创新和业务发展,提升企业竞争力和运营效率。 在最后的部分,指南提供了落地数据中台的实践经验和案例分析。通过实际的案例,指南展示了如何根据企业的特点和需求,制定适合的数据中台架构和实施方案。 总之,《数据中台架构——企业数据化最佳实践》PDF是一本详细介绍数据中台架构和最佳实践方法的指南。通过学习这本指南,企业可以了解数据中台的概念和作用,掌握构建数据中台的关键技术和方法,并且通过实践案例的分析,获得落地数据中台的实践经验。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

陈亦康

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值