分布式
架构师成长营
这个作者很懒,什么都没留下…
展开
-
可扩展的有状态服务
一直以来,无状态服务(Stateless Service)在架构设计中都被当作铁律,因为无状态的服务很容易横向扩展,只需要在负载均衡之后增加节点就可以处理更多请求。但是,无状态服务也不是完美无缺的,其中一个缺点就是和数据层之间的请求延迟,以及为了解决这种延迟增加缓存所带来的复杂性和一致性问题。有没有想过引入“有状态服务”(stateful service)来解决问题?在网上查一查,你会发现很少有人提及有状态服务,Wikipedia甚至都没有这个词条。Caitiff McCaffrey是Twitter转载 2020-09-10 10:56:19 · 584 阅读 · 0 评论 -
FastDFS介绍及安装部署
简介FastDFS是一个开源的轻量级分布式文件系统,由跟踪服务器(tracker server)、存储服务器(storage server)和客户端(client)三个部分组成,主要解决了海量数据存储问题,特别适合以中小文件(建议范围:4KB < file_size <500MB)为载体的在线服务。原理架构image.pngStorage serverSto...转载 2019-11-29 17:31:05 · 228 阅读 · 0 评论 -
GlusterFS介绍及安装部署
一、概述1、GlusterFS是集群式NAS存储系统,分布式文件系统(POSIX兼容),Tcp/Ip方式互联的一个并行的网络文件系统,通过原生 GlusterFS 协议访问数据,也可以通过 NFS/CIFS 协议访问数据,没有元数据服务器,实现整个系统的性能、可靠性和稳定性。2、GlusterFS 常见术语名称 解释 Brick ...转载 2019-11-29 14:42:53 · 1929 阅读 · 0 评论 -
完美的分布式监控系统——普罗米修斯
DevOps工程师或SRE工程师,可能都知道Prometheus普罗米修斯。Prometheus于2012年由SoundCloud创建,目前已经已发展为最热门的分布式监控系统。Prometheus完全开源的,被很多云厂商(架构)内置,在这些厂商(架构)中,可以简单部署Prometheus,用来监控整个云基础架构设施。比如DigitalOcean或Docker都是普罗米修斯作为基础监控。希腊神话...转载 2019-11-18 22:15:03 · 798 阅读 · 0 评论 -
使用JWT实现Token认证
为什么使用JWT?随着技术的发展,分布式web应用的普及,通过session管理用户登录状态成本越来越高,因此慢慢发展成为token的方式做登录身份校验,然后通过token去取redis中的缓存的用户信息,随着之后jwt的出现,校验方式更加简单便捷化,无需通过redis缓存,而是直接根据token取出保存的用户信息,以及对token可用性校验,单点登录更为简单。JWT架构图JW...转载 2019-10-21 09:31:18 · 151 阅读 · 0 评论 -
任务调度引擎quartz集群化部署能力总结
公司产品中使用了quartz任务调度器,在分布式部署中,需要对quartz的集群化能力进行基础性的测试,需要测试以下内容:1.节点失效转移:节点发生故障时,能否转移到其他节点。2.任务失效转移:当某一个任务发生异常时,能否被重复调度执行。3.任务单实例执行:是否支持任务仅单实例运行,不被多实例同时调度。4.misfire后是否立即执行:当一个任务调度时间已到,但是上一次还未执行完成...原创 2019-10-18 15:22:39 · 620 阅读 · 0 评论 -
pgpool-II 入门教程
欢迎阅读 pgpool-II 入门教程。从本教程中,你将学会如何安装,设置 pgpool-II 以及使用 pgpool-II 运行并行查询和复制。我们假设你已经知道PostgreSQL的基础操作,所以如果有必要,请先参考 PostgreSQL 的文档。目录1.让我们开始吧!1.1.安装 pgpool-II1.2.配置文件1.3.配置 PCP 命令1.4.准备数据库...转载 2019-08-16 14:39:47 · 851 阅读 · 0 评论 -
Kubernetes初探:网络技术原理
1、什么是Kubernetes?Kubernetes(k8s) 源于古希腊语,意寓为舵手,管理者。Kubernetes 是Google开源的容器集群管理系统,其提供应用部署、维护、扩展机制等功能,利用Kubernetes能方便地管理跨机器运行容器化的应用。其主要功能如下:以集群的方式运行、管理跨机器的容器;解决Docker 跨机器容器之间的通讯问题;Kubernetes 的自我...转载 2019-08-10 16:51:10 · 218 阅读 · 0 评论 -
PGPool-II+PG流复制实现HA主备切换
基于PG的流复制能实现热备切换,但是是要手动建立触发文件实现,对于一些HA场景来说,需要当主机down了后,备机自动切换,经查询资料知道pgpool-II可以实现这种功能。本文基于PG流复制基础上 ,以pgpool-II实现主备切换。在配置pgpool之前需分别在两台规划机上安装好pg数据库,且配置好了流复制环境,关于流复制配置参考前文:http://www.jianshu.com/p/12bc9...转载 2019-08-08 22:30:05 · 1360 阅读 · 0 评论 -
一致性hash在分布式系统中的应用
场景如果要设计一套KV存储的系统,用户PUT一个key和value,存储到系统中,并且提供用户根据key来GET对应的value。要求随着用户规模变大,系统是可以水平扩展的,主要要解决以下几个问题。系统是一个集群,包含很多节点,如何解决用户数据的存储问题?保证用户的数据尽可能平均分散到各个节点上。 如果用户量增长,需要对集群进行扩容,扩容完成后如何解决数据重新分布?保证不会出现热点数据节...转载 2019-04-04 19:00:10 · 157 阅读 · 0 评论 -
银行跨数据中心数据库双活架构设计:设计原则及技术选型
灾备中心要承载业务运行,这已经是一个共识。因此灾备中心的概念也在弱化,取而代之的是IDC数据中心概念。首先数据需要在多数据中心复制,保证数据不丢失。其次业务多数据中心部署,同时提供服务。这一点在互联网行业做得最好。这也是因为互联网行业本身的业务特点促成的。然而对于传统行业,不能完全照搬互联网行业的分布式技术。更多的系统是需要在现有架构的基础上进行改造。这也是为什么要做双活的数据中心。每个系统在...转载 2018-12-09 10:22:58 · 1999 阅读 · 0 评论 -
银行跨数据中心数据库双活架构设计:五大难点攻克
数据库双活技术已成为企业重点关注的对象,社区最近组织了交流活动,以帮助大家更好的明确理解数据中心建设。我们将活动内容总结为设计原则、技术选型和五大难点攻克。前篇见:银行跨数据中心数据库双活架构设计:设计原则及技术选型(点击标题可读)本篇交流分享者——本次活动专家:孔再华 民生银行 数据库架构师冯帅 点融网 高级DBA韩成亮 某金融单位 数据库架构师还有以下会员热心分享:...转载 2018-12-09 10:21:21 · 2699 阅读 · 0 评论 -
图说分布式架构的发展和演进
编注: 架构决定的系统的稳定性,扩展性和并发性,架构的演进是从简单到复杂,从单一到复合持续改进的过程,也是经验的积累和技术的结晶。 初始阶段架构初始阶段的小型系统、应用程序、数据库、文件等所有的资源都在一台服务器上。通俗称为LAMP。特征:应用程序、数据库、文件等所有的资源都在一台服务器上。描述:通常服务器操作系统使用linux,应用程序使用PHP开发,然后部署在Apach...转载 2018-12-09 10:14:16 · 221 阅读 · 1 评论 -
一文教你迅速解决分布式事务 XA 一致性问题
导语 近日,腾讯云发布了分布式数据库解决方案(DCDB),其最明显的特性之一就是提供了高于开源分布式事务XA的性能。大型业务系统有着用户多、并发高的特点,在这方面,集中式数据库(单机数据库)的性能很难支持,因此主流的互联网公司往往采用分布式(架构)数据库,物理上利用更多的低端设备,逻辑上对大表水平拆分支撑业务的需要。 虽然分布式数据库能解决性能难题,但事务一致性(Consisten...转载 2018-12-09 10:07:39 · 913 阅读 · 0 评论