微服务框架之SpringCloud笔记

  • 原理图

在这里插入图片描述

  • Eureka 服务注册中心

  • Feign 服务调用

  • Ribbon 负载均衡

  • Zuul / SpringCloud Gateway : 网关

     	接口过多,不能直接对外暴露(对于前端,接口过多),通过网关统一管理。
     	灰度发布
     	统一熔断
     	统一降级
     	统一限流
     	统一授权认证
    
  • (Hystrix/链路追踪/stream/其他组件,高可用)

Eureka原理
在这里插入图片描述
多级缓存 其实本质上也是 读写分离的思想。
本质就是http接口的调用
Feign 注解+动态代理,底层是http格式的请求
ribbon 负载均衡策略,先从Eureka拉取注册表信息,然后根据负载均衡选择一台机器 发送http请求调用接口。
zuul 如果请求到了网关,会通过配置找相应的服务。

SpringCloud与Dubbo优劣对比?

Dubbo 的RPC框架 调用速度会比springcloud http调用快
springcloud全家桶,功能齐全,网关,分布式配置中心,授权认证,服务链路追踪,Hystrix熔断 降级 资源隔离  中间件的封装等。

注册中心的选型? Eureka,zk

在这里插入图片描述
CAP:
C: 一致性
A:可靠性
P:分区容错性

Eureka :AP
可靠性可以保障,因为Eureka是peer模式,如果一个节点挂了,服务可以从其他的注册中心节点拉取服务,但是 这个节点和挂掉的节点可能会数据不一致(挂的节点可能刚好注册了一个服务还没来得及和其他节点同步),不能保证C,当心跳检测不到挂掉的节点时会重新注册到可用的节点,保障最终的一致性。

zk: CP
为了保障一致性,牺牲了可用性。当leader节点挂掉时(还没来得及同步新的服务),follower会选举新的leader,这时,为了保障C,就不能满足A,不可用一段时间,leader选举好了就可以继续写数据了,用来保障C一致性。

服务注册的时效性
zk时效性更好,注册和挂掉,(1)秒级感知
eureka,默认配置要几十秒 甚至 两三分钟。ribbon,心跳检测,缓存拉取,缓存更新都需要配置相应的参数(多少秒一次)

容量
Eureka和zk都难以支撑几千的机器实例。(几百最多1千)
服务上下线时,zk瓶颈为大量的网络带宽。Eureka实例同步需要接受所有请求,eureka实例多扛不住。
参数调优
一般生产都会关闭自我保护机制(如果有网络抖动,则不会下线所有服务)
在这里插入图片描述
关于时效性的eureka参数调优
都改成3秒 ,实例的心跳检测由90s改为6秒(服务不多的情况下可以设置为1S)在这里插入图片描述
你们公司服务注册中心是怎么选型的?生产环境怎么优化?

eureka,zk,consul原理图
	ap,cp,
	服务注册的时效性。 eureka优化参数
	注册中心能支撑多少实例?
	一般都是用高配机器来搞:8核16G,16核32G,每台机器支撑每秒几千请求没有问题。

zuul网关核心功能
动态路由:服务增减机器,网关自动热感知
灰度发布:两台一样的服务 不同的版本。
授权认证
性能监控:成功率,QPS,接口耗时
限流熔断

几种网关:

zuul,Kong(Nginx+lua),OpenResty(Nginx+lua),自研网关
zuul:基于java,自己可以把控源码,但核心功能简单,灰度、动态路由、限流需要二次开发。高并发能力不强,需要部署到tomcat上去。
Kong:依托于Nginx,lua,OpenResty,现成的插件可以直接使用。可抗高并发,但是是用C语言写的。不利于底层二次开发。
自研: 一般大厂会 基于 java,Servlet,netty,自研高并发,高性能的网关。

zuul动态路由如何实现?
新建一张配置表,记录ip和路径等信息
搞一个界面对这个表增删改查。
网关启动的时候拉取配置中的数据和表中的数据,定时任务每隔5秒从数据库中拉取一次。

zuul网关如何抗10W+?
8核16G每秒抗1000+没问题。
在这里插入图片描述
上万服务实例,服务中心如何抗住?
分片,主从。
在这里插入图片描述
灰度发布
zuul进行二次开发。
创建一个url路径的配置表,是否启用灰度发布字段 0,1。
启用就走灰度发布逻辑(例如搞一个随机数 100以内,让seed==50的时候走灰度发布的url服务器。即1%的流量请求走灰度)
在config里配置一个实例版本。为灰度版本。

你们公司生产系统是怎么部署的?
大部分系统: 高峰几百,低峰几十请求。
网关: 配置要高一些: 8核16G 2台。 (4核8G 3-4台)
普通服务: 4核8G 每个服务实例两台机器。 一般可以抗 几百请求。上千也是OK的。 也可以多部署几台机器用来抗QPS 。
数据库 mysql 16核32G,物理机最佳。最多三四千。 如果达到三四千量级,网络负载 cpu使用率,磁盘IO都会很高。

如何访问量扩容10倍?
Nginx做负载,均匀分发给网关,扩10倍网关。其他机器水平扩容就OK了
mysql层 扩充物理机 32核128G 每秒 抗几千没问题

springCloud系统第一调用会超时,怎么解决?
因为ribbon的懒加载机制,第一次请求会加载一些组件。
在这里插入图片描述
上述参数配置完毕之后还会可能超时,zuul调用子系统超时,因为链路比较长,所以可以设置超时时间
在这里插入图片描述
幂等性如何保障?
核心接口,根据业务逻辑。 create操作可以利用唯一索引。update操作可以配合redis.

分布式事务如何保障?
订单、库存、积分 绑定在一起成为一个事务 用TCC(try,confirm,cancel)框架。
发货可以用消息中间件保障最终一致性。
阿里开源的分布式事务框架 seata. 支持dubbo,springcloud

引入分布式框架TCC有哪些瓶颈?能支撑高并发场景吗?
例如seata, seata-server会与其频繁的网络通信用于记录各种状态,还有就是记录一些日志落地到磁盘 mysql,file, 会造成性能开销。
高并发每秒上万,需要分库分表。 seata也得分库分表。

异步消息中间件对于分布式事务的原理图
在这里插入图片描述
没有rocketMq 就自己写一个服务 +rabbitMQ +mysql 实现 rocketmq这一套逻辑

分布式锁框架?
Redission
加锁 key value ,product_id_stock{xxxxx:id}
watchdog 循环 看客户端是否持有锁,有则更新过期时间。
别的加锁循环等待。
redis集群加锁后挂掉怎么办?
master-slave 会出现加两个锁的情况。 (很少)这就得改redis源码进行二次开发,在master和slave都写成功才加锁成功。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
微服务是什么?微服务是用于构建应用程序的架构风格,一个大的系统可由一个或者多个微服务组成,微服务架构可将应用拆分成多个心功能,每个功能都被称为一项服务,可以单独构建和部署,这意味着各项服务在工作和出现故障的时候不会相互影响。为什么要用微服务?单体架构下的所有代码模块都耦合在一起,代码量大,维护困难,想要更新一个模块的代码,也可能会影响其他模块,不能很好的定制化代码。微服务中可以有java编写、有Python编写的,他们都是靠restful架构风格统一成一个系统的,所以微服务本身与具体技术无关、扩展性强。大型电商平台微服务功能图为什么要将SpringCloud项目部署到k8s平台?SpringCloud只能用在SpringBoot的java环境中,而kubernetes可以适用于任何开发语言,只要能被放进docker的应用,都可以在kubernetes上运行,而且更轻量,更简单。SpringCloud很多功能都跟kubernetes重合,比如服务发现,负载均衡,配置管理,所以如果把SpringCloud部署到k8s,那么很多功能可以直接使用k8s原生的,减少复杂度。Kubernetes作为成熟的容器编排工具,在国内外很多公司、世界500强等企业已经落地使用,很多中小型公司也开始把业务迁移到kubernetes中。kubernetes已经成为互联网行业急需的人才,很多企业都开始引进kubernetes技术人员,实现其内部的自动化容器云平台的建设。对于开发、测试、运维、架构师等技术人员来说k8s已经成为的一项重要的技能,下面列举了国内外在生产环境使用kubernetes的公司: 国内在用k8s的公司:阿里巴巴、百度、腾讯、京东、360、新浪、头条、知乎、华为、小米、富士康、移动、银行、电网、阿里云、青云、时速云、腾讯、优酷、抖音、快手、美团等国外在用k8s的公司:谷歌、IBM、丰田、iphone、微软、redhat等整个K8S体系涉及到的技术众多,包括存储、网络、安全、监控、日志、DevOps、微服务等,很多刚接触K8S的初学者,都会感到无从下手,为了能让大家系统地学习,克服这些技术难点,推出了这套K8S架构师课程。Kubernetes的发展前景 kubernetes作为炙手可热的技术,已经成为云计算领域获取高薪要掌握的重要技能,在招聘网站搜索k8s,薪资水平也非常可观,为了让大家能够了解k8s目前的薪资分布情况,下面列举一些K8S的招聘截图: 讲师介绍:  先超容器云架构师、IT技术架构师、DevOps工程师,曾就职于世界500强上市公司,拥有多年一线运维经验,主导过上亿流量的pv项目的架构设计和运维工作;具有丰富的在线教育经验,对课程一直在改进和提高、不断的更新和完善、开发更多的企业实战项目。所教学员遍布京东、阿里、百度、电网等大型企业和上市公司。课程学习计划 学习方式:视频录播+视频回放+全套源码笔记 教学服务:模拟面试、就业指导、岗位内推、一对一答疑、远程指导 VIP终身服务:一次购买,终身学习课程亮点:1. 学习方式灵活,不占用工作时间:可在电脑、手机观看,随时可以学习,不占用上班时间2.老师答疑及时:老师24小时在线答疑3. 知识点覆盖全、课程质量高4. 精益求精、不断改进根据学员要求、随时更新课程内容5. 适合范围广,不管你是0基础,还是拥有工作经验均可学习:0基础1-3年工作经验3-5年工作经验5年以上工作经验运维、开发、测试、产品、前端、架构师其他行业转行做技术人员均可学习课程部分项目截图   课程大纲 k8s+SpringCloud全栈技术:基于世界500强的企业实战课程-大纲第一章 开班仪式老师自我介绍、课程大纲介绍、行业背景、发展趋势、市场行情、课程优势、薪资水平、给大家的职业规划、课程学习计划、岗位内推第二章 kubernetes介绍Kubernetes简介kubernetes起源和发展kubernetes优点kubernetes功能kubernetes应用领域:在大数据、5G、区块链、DevOps、AI等领域的应用第三章  kubernetes中的资源对象最小调度单元Pod标签Label和标签选择器控制器Replicaset、Deployment、Statefulset、Daemonset等四层负载均衡器Service第四章 kubernetes架构和组件熟悉谷歌的Borg架构kubernetes单master节点架构kubernetes多master节点高可用架构kubernetes多层架构设计原理kubernetes API介绍master(控制)节点组件:apiserver、scheduler、controller-manager、etcdnode(工作)节点组件:kube-proxy、coredns、calico附加组件:prometheus、dashboard、metrics-server、efk、HPA、VPA、Descheduler、Flannel、cAdvisor、Ingress     Controller。第五章 部署多master节点的K8S高可用集群(kubeadm)第六章 带你体验kubernetes可视化界面dashboard在kubernetes中部署dashboard通过token令牌登陆dashboard通过kubeconfig登陆dashboard限制dashboard的用户权限在dashboard界面部署Web服务在dashboard界面部署redis服务第七章 资源清单YAML文件编写技巧编写YAML文件常用字段,YAML文件编写技巧,kubectl explain查看帮助命令,手把手教你创建一个Pod的YAML文件第八章 通过资源清单YAML文件部署tomcat站点编写tomcat的资源清单YAML文件、创建service发布应用、通过HTTP、HTTPS访问tomcat第九章  kubernetes Ingress发布服务Ingress和Ingress Controller概述Ingress和Servcie关系安装Nginx Ingress Controller安装Traefik Ingress Controller使用Ingress发布k8s服务Ingress代理HTTP/HTTPS服务Ingress实现应用的灰度发布-可按百分比、按流量分发第十章 私有镜像仓库Harbor安装和配置Harbor简介安装HarborHarbor UI界面使用上传镜像到Harbor仓库从Harbor仓库下载镜像第十一章 微服务概述什么是微服务?为什么要用微服务微服务的特性什么样的项目适合微服务?使用微服务需要考虑的问题常见的微服务框架常见的微服务框架对比分析第十二章 SpringCloud概述SpringCloud是什么?SpringCloudSpringBoot什么关系?SpringCloud微服务框架的优缺点SpringCloud项目部署到k8s的流程第十三章 SpringCloud组件介绍服务注册与发现组件Eureka客户端负载均衡组件Ribbon服务网关Zuul熔断器HystrixAPI网关SpringCloud Gateway配置中心SpringCloud Config第十四章 将SpringCloud项目部署到k8s平台的注意事项如何进行服务发现?如何进行配置管理?如何进行负载均衡?如何对外发布服务?k8s部署SpringCloud项目的整体流程第十五章 部署MySQL数据库MySQL简介MySQL特点安装部署MySQL在MySQL数据库导入数据对MySQL数据库授权第十六章 将SpringCLoud项目部署到k8s平台SpringCloud微服务电商框架安装openjdk和maven修改源代码、更改数据库连接地址通过Maven编译、构建、打包源代码在k8s中部署Eureka组件在k8s中部署Gateway组件在k8s中部署前端服务在k8s中部署订单服务在k8s中部署产品服务在k8s中部署库存服务第十七章 微服务的扩容和缩容第十八章 微服务的全链路监控什么是全链路监控?为什么要进行全链路监控?全链路监控能解决哪些问题?常见的全链路监控工具:zipkin、skywalking、pinpoint全链路监控工具对比分析第十九章 部署pinpoint服务部署pinpoint部署pinpoint agent在k8s中重新部署带pinpoint agent的产品服务在k8s中重新部署带pinpoint agent的订单服务在k8s中重新部署带pinpoint agent的库存服务在k8s中重新部署带pinpoint agent的前端服务在k8s中重新部署带pinpoint agent的网关和eureka服务Pinpoint UI界面使用第二十章 基于Jenkins+k8s+harbor等构建企业级DevOps平台第二十一章 基于Promethues+Alert+Grafana搭建企业级监控系统第二十二章 部署智能化日志收集系统EFK 
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值