架构
技术内功与架构能力
诶jax
简书搬迁,文章陆续迁移到CSDN
展开
-
阿里云k8s+log-pilot日志收集
背景说明项目基本完成容器化与vpc迁移,完成架构改造的第一步。之后计划将服务逐步迁移到k8s上管理,依赖docker+k8s这样的PAAS平台,做到“更轻量的运维,人人都是devops”。首先项目运行在阿里云的vpc内,需要使用阿里云的k8s容器服务,需要做所有系统的二次迁移。那么在迁移之前,需要了解使用k8s的架构需要有哪些一些基础设施。k8s作为优秀的PAAS平台,已经帮我们解决资源调度...原创 2020-04-10 17:43:33 · 3304 阅读 · 0 评论 -
docker与k8s网络模型学习
之前围绕阿里云的容器服务,内部做了一次阿里云基于k8s服务治理的总结。这次系统地学习了docker与k8s的网络模型,并从kubelet出发研究了kubelet -> dockershim -> cni -> flannel的调用链路,对cni项目的源码做了些许分析。Docker网络模型K8S网络模型同POD网络同NODE网络不同NODE网络CNI分析D...原创 2020-04-08 12:25:11 · 481 阅读 · 0 评论 -
缓存设计实践
缓存设计的意义当我们在设计系统时,项目的初期一般不会考虑缓存的设计,理由大致是一开始业务增长缓慢,不会有太多的请求量,系统的负载问题没有那么突出。当业务不断增长,服务端请求量激增导致系统对底层存储(SQL or NoSQL等)读写数据压力增加,这时我们缓存的接入就十分必要。一方面缓存可以是in memory的一块存储空间,在单点的服务上缓存获取到请求及对应的响应(当然一套分布式的同步机制也是可以...原创 2020-04-07 20:37:19 · 905 阅读 · 0 评论 -
灰度发布系统设计
前言互联网公司在起步阶段一般用户量少,系统处在快速试错与迭代阶段,对于系统部署对用户的影响及系统上线的流程不会有太多的顾虑和投入。相反,当业务量上升,系统承载的流量也因此升高,这时还用起步阶段的部署流程和方式,不仅对用户使用可能带来较大的影响,也对自身产品的品牌形象带来伤害。这个话题其实已是老生常谈,现在各种微服务治理,k8s等容器编排系统甚至service mesh的普及,将服务上线对现网的...原创 2020-04-07 20:36:44 · 1436 阅读 · 0 评论 -
跨云平台大数据系统迁移实践
背景介绍最近又能挤一挤时间,来聊一聊前一段时间接手的一个大数据系统项目。随着云计算的普及,大部分互联网公司的系统都是基于云原生的产品和体系来搭建的,我接手的系统也不例外。数据处理部分从底层存储,到中间层数据处理系统,再到上层的ETL系统第一版都是基于Google Cloud Platform来搭建的,GKE + PubSub + DataFlow + FireStore,数据服务部分,负载均衡...原创 2020-04-07 20:35:43 · 1086 阅读 · 0 评论 -
websocket与socket.io比较与分析
大家参与的项目里多少都会有web server与browser需要长连接互联的场景,当然我也是,之前没有进行太多方案的调研(比如深入理解通信协议和通用的一些解决方案),所以websocket就不假思索地直接用了,包括去年写的框架xframe里也是直接嵌入了官方websocket的library来实现的。两周前遇到个场景,前端大佬提需求说能否支持socket.io,之前写的websocket的se...原创 2020-04-07 20:30:01 · 7115 阅读 · 0 评论