大型互联网项目架构认知

架构是什么

对业务场景抽象后得出的支持骨架,目的是:解决系统的复杂性

  比如:为了满足 100w 日活量,10W QPS ,及以后系统扩展,采用 微服务架构

架构为业务场景而生、被业务场景而弃

架构没有最好、只有“最合适”(人员技术研发能力、业务复杂度、数据规模大小、时间成本、运维能力….)

选择架构时候,必须选择最适合公司当下环境的架构。

架构目标是什么

高性能:系统响应时间(Response time)短,并发量(同时支撑用户请求量)大

高可用:任何时候项目都必须可用

高可扩展:满足新需求迭代,扩展

可伸缩:支持双11、618等大促

安全性:互联网项目的安全保证

敏捷性:可持续交付、持续部署

架构模式

高性能架构

   以用户为中心,提供快速的访问体验。主要参数有:较短的响应时间、较大的并发处理能力、较高的吞吐量与稳定的性能参数。

   可分为:前端优化、应用层优化、代码层优化与存储优化。

  前端优化:网站业务逻辑之前的优化:(1)前端工程化:vue、react + nodejs;(2)浏览器优化:减少HTTP请求数、使用浏览器缓存(css、js)、启用压缩、js异步、减少cookie传输、cdn加速、反向代理

  应用层(处理业务的服务器)优化:缓存、异步、集群

  代码优化:合理的架构、多线程、资源复用(对象池、线程池)、良好的数据结构、jvm调优、缓存

  存储优化:缓存、固态硬盘、光纤传输、优化读写、硬盘冗余、分布式存储、noSql等。

高可用架构

    大型互联网项目必须保证在任何时候都可以访问,正常对外提供服务。因为互联网项目的复杂性,分布式、连接服务器、开源数据库、开源操作系统等、要保证高可用是很困难的,也就是说网站的故障时不可避免的。

    系统健壮性强,应该能处理系统运行过程中出现的各种异常情况,如:人为操作错误、输入非法数据、硬件设备失败等,系统能正确的处理、恰当的回避。

   因软件系统的失效而造成不能完成业务的概率要小于5‰。要求系统7x24小时运行,全年持续运行故障停运时间累计不能超过10小时。系统缺陷率每1,000小时最多发生1次故障。

   提高可用性,就是需要迫切解决的问题。首先,需要从架构级别考虑,在规划的时候,就考虑可用性。不同层级使用的策略不同,一般采用冗余备份和失效转移解决高可用问题。

   应用层:一般设计为无状态的,对于每次请求,使用哪一台服务器处理是没有影响的。一般使用负载均衡技术(需要解决Session同步问题)实现高可用。

   服务层:负载均衡,分级管理,快速失败(超时设置),异步调用,服务降级,幂等设计等。

  数据层:冗余备份(冷,热备[同步,异步],温备),失效转移(确认,转移,恢复)。数据高可用方面著名的理论基础是CAP理论(持久性,可用性,数据一致性[强一致,用户一致,最终一致])
总结:
1、集群
2、数据冗余
3、(网络抖动:请求超时,请求失败)---- 重试(成功)--- 可用的
4、验证(防止服务漏洞)
5、极端异常情况,必须回避 ----(每一行代码都有可能出现异常:数据一致性)
6、缓存
7、异步

可伸缩架构

    伸缩性是指在不改变原有系统架构的前提下,通过添加/减少硬件(服务器)的方式,提供/降低系统的处理能力。

     应用层:对应用进行水平或垂直切分,对单一功能进行负载均衡(DNS、HTTP反向代理)

     服务层:水平或垂直拆分,对单一功能进行负载均衡

    数据库层:分库、分表、NoSql等,常用算法:hash,一致性hash

     云原生:项目运行在云端,可以随时动态扩容:k8S

可扩展架构

   微服务架构:依据业务拆分模块、新业务需求创建新的模块

   可以方便地进行功能模块的新增/移除,提供模块级别良好的可扩展性。

   模块化:高内聚,低耦合,提高复用性,扩展性。

  稳定接口:定义稳定的接口,在接口不变的情况下,内部接口可以随意变化

 设计模式:应用面向对象的思想、原则,使用设计模式,进行代码层面的设计

 消息队列:模块化的系统,通过消息队列进行交互,解耦模块之间的依赖

分布式服务:公用模块服务化,提供其他系统使用,提供可重用、可扩展。

安全架构

对已知问题有有效的解决方案,对未知/潜在问题建立发现和防御机制。对于安全问题,首先要提高安全意识,建立一个安全的有效机制,从政策层面,组织层面进行保障,比如服务器密码不能泄露,密码每月更新,每周安全扫描等。以制度化的方式,加强安全体系的建设。同时,需要注意与安全有关的各个环节。安全问题不容忽视,包括基础设施安全,应用系统安全,数据保密安全等。

基础设施安全:硬件采购,操作系统,网络环境方面的安全。一般采用正规渠道购买高质量的产品,选择安全的操作系统,及时修补漏洞,安装杀毒软件防火墙。防范病毒,后门。设置防火墙策略,建立DDOS防御系统,使用攻击检测系统,进行子网隔离等手段。

应用系统安全:在程序开发时,对已知常用问题,使用正确的方式,在代码层面解决掉。防止跨站脚本攻击(XSS),注入攻击,跨站请求伪造(CSRF),错误信息,HTML注释,文件上传,路径遍历等。还可以使用Web应用防火墙(比如:ModSecurity),进行安全漏洞扫描等措施,加强应用级别的安全。

数据保密安全:存储安全(存储在可靠的设备,实时,定时备份),保存安全(重要的信息加密保存,选择合适的人员复杂保存和检测等),传输安全(防止数据窃取和数据篡改);
常用的加解密算法(单项散列加密[MD5、SHA],对称加密[DES、3DES、RC]),非对称加密[RSA]等。

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

分布式架构之巅

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值