![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
分布式系列
文章平均质量分 94
solihawk
这个作者很懒,什么都没留下…
展开
-
国产分布式数据库高可用故障检测实现
在分布式数据库架构下,当数据库节点异常时,数据库管理组件能够自动感知到异常并触发节点隔离或者自动切换,是数据库高可用容灾的基本能力。在节点服务器异常、网络异常或进程异常等场景下,各数据库产品本身已经具备了可靠的检测能力和恢复手段。但是在服务器磁盘异常或者IO缓慢等场景下,数据库本身对这类故障场景的检测能力如何,能否采取及时的故障恢复措施,本文将结合几种常见的国产分布式数据库进行分析。原创 2024-05-13 08:41:44 · 674 阅读 · 0 评论 -
基于Skywalking的全链路跟踪实现
本文重点介绍基于Skywalking的全链路实现,包括Skywalking的整体架构和基本概念原理、Skywalking环境部署、SpringBoot和Python集成Skywalking监控实现等原创 2023-11-07 08:37:05 · 1125 阅读 · 0 评论 -
分布式应用全链路跟踪实现
随着分布式和微服务架构的发展,应用系统和服务组件之间的调用关系愈发复杂。如何精确的展示和快速定位服务单元之间的调用关系,实时观测应用系统整体链路情况,对应用系统的监控运维提出了挑战。本文简要介绍分布式应用链路跟踪的实现方式、OpenTracing规范以及对比不同全链路开源组件的实现。原创 2023-10-24 08:35:20 · 452 阅读 · 0 评论 -
负载均衡算法介绍及应用连接池负载不均问题分析
在分布式系统架构下,为了满足高并发和高扩展性的要求,负载均衡设备得以广泛的使用。结合应用连接池的配置,在实际使用过程中可能会出现负载不均的问题。本文简单介绍了负载均衡算法、Druid连接池配置以及连接池负载不均的问题分析及优化方法。原创 2023-09-12 08:35:51 · 864 阅读 · 0 评论 -
分布式开源监控Zabbix实战
Zabbix作为一个分布式开源监控软件,在传统的监控领域有着先天的优势,具备灵活的数据采集、自定义的告警策略、丰富的图表展示以及高可用性和扩展性。本文简要介绍Zabbix的特性、整体架构和工作流程,以及安装部署的过程,并结合实战进行监控配置。原创 2023-08-01 08:50:33 · 1154 阅读 · 0 评论 -
分布式版本控制系统Git介绍
Git 是一款开源的分布式版本控制系统,具备分布式、轻量级分支、强大的协作能力以及适用于大小项目的版本管理。本文简要介绍Git工具的特性、Git中的对象以及分支管理,以加深了解。原创 2023-07-03 08:57:17 · 1107 阅读 · 0 评论 -
DDD领域驱动设计基本理解
DDD是一种软件设计思想和方法论,以领域为核心构建软件设计体系,将业务模型抽象成领域模型进行拆解和封装。本文简要介绍DDD的基本概念和常用的分层设计架构,并结合业务场景进行领域驱动设计的实战分析,以加深理解。原创 2023-06-26 08:31:25 · 618 阅读 · 0 评论 -
低代码开发平台介绍
低代码开发平台近两年发展迅猛,并迅速渗透到各个细分领域。本文简要介绍低代码开发的概念以及特性,并结合低代码开发的应用场景介绍两个低代码开发平台。原创 2023-06-13 08:45:25 · 3434 阅读 · 0 评论 -
分布式限流算法及实现介绍
分布式系统架构下面对突增的高并发访问请求,如何实现限流以保护系统的可用性是需要关注的一个问题。分布式限流实现机制上有很多中,包括基于网关实现、基于中间件如Redis实现等,本文简要介绍限流的常用算法以及实现方案。原创 2023-06-06 08:59:47 · 1143 阅读 · 1 评论 -
分布式接口幂等性设计实现
面对分布式架构和微服务复杂的系统架构和网络超时服务器异常等带来的系统稳定性问题,分布式接口的幂等性设计显得尤为重要。本文简要介绍了几种分布式接口幂等性设计实现,包括Token去重机制、乐观锁机制、数据库主键和状态机实现等,以加深理解。原创 2023-05-15 18:56:26 · 1085 阅读 · 1 评论 -
分布式网关概念及Spring Cloud Gateway动态路由实现
服务网关作为分布式系统对外服务的统一入口,设计功能上具有路由转发、熔断限流、安全认证以及监控等功能。本文简要介绍服务网关的基本概念,以及动态路由的实现方式,以加深了解。原创 2023-03-21 08:54:46 · 2126 阅读 · 0 评论 -
分布式调度框架Quartz和xxl-job实践
任务调度是特定业务场景下的定时任务处理,在分布式架构下,分布式调度框架的设计显得尤为重要。本文简要介绍了两种常用的分布式调度框架Quartz和xxl-job的特性、基本架构和参数配置原创 2023-02-06 08:55:25 · 3556 阅读 · 0 评论 -
分布式数据库中间件Sharding-JDBC介绍
ShardingSphere是一套开源的分布式数据库中间件解决方案,目前由Sharding-JDBC和Sharding-Proxy两款独立的产品组成原创 2023-01-04 08:43:34 · 2069 阅读 · 0 评论 -
分布式系列之聊聊Nginx实现原理
Nginx作为开源的轻量级的HTTP服务器,广泛应用于分布式应用架构中。本文简要介绍了Nginx的特点及使用场景、Nginx的进程模型和请求处理流程,并结合不同场景进行配置,对Nginx的架构和实现原理有个初步的了解。原创 2022-12-26 08:39:55 · 1859 阅读 · 0 评论 -
分布式数据库中间件Mycat介绍
从Cobar到Mycat,从闭源到开源,作为一个开源的分布式数据库中间件,Mycat已经被众多开源项目使用。本文简要介绍下Mycat的特性、基本架构以及分库分表和读写分离的配置。原创 2022-12-19 08:34:54 · 1606 阅读 · 0 评论 -
分布式消息中间件RabbitMQ解析
RabbitMQ作为分布式消息存储和转发系统,已广泛使用于分布式系统中。本文简要介绍RabbitMQ相关概念、集群架构和消息转发流程,并与Kafka做了简要对比,以加深理解。原创 2022-11-29 08:37:05 · 961 阅读 · 0 评论 -
分布式消息系统Kafka解析
Kafka作为开源分布式消息系统,具备高吞吐低时延、高可靠和可扩展的特性,广泛应用于分布式分析处理平台。本文简要介绍[Kafka的特性及主要概念]、高可用架构及可靠性机制、生产者和消费者的处理流程等基本原理。原创 2022-11-14 08:58:36 · 1754 阅读 · 2 评论 -
分布式搜索引擎Elasticsearch解析
Elasticsearch作为分布式开源的搜索引擎,广泛应用于搜索和实时分析场景。本文简要介绍[ES的一些特性、索引执行的原理以及集群架构],以加深理解。原创 2022-11-08 19:11:00 · 659 阅读 · 0 评论 -
分布式缓存系统Redis原理解析
Redis作为内存数据库已经广泛应用于大数据领域,已经成为分布式架构下的基础组件。本文主要介绍Redis内部的实现原理包括IO模型、内存管理、数据持久化等以及三种集群架构,旨在了解其中的实现机制。原创 2022-10-24 08:32:39 · 2089 阅读 · 0 评论 -
分布式键值存储系统ETCD介绍
ETCD作为分布式键值存储系统,使用场景上和Zookeeper有很多相似之处,但在设计理念以及架构稳定性和性能上有了提升,本文将对其中的架构流程、一致性Raft算法以及存储模型作简要介绍。原创 2022-10-11 20:17:59 · 3134 阅读 · 0 评论 -
分布式服务框架Zookeeper解析
Zookeeper作为高可用的分布式协调与管理框架,在越来越多的分布式系统中作为核心组件引入使用,本文简要介绍Zookeeper的集群架构和一些基本概念,以及基于ZAB一致性协议的选主流程,并列举了一些常见的使用场景。原创 2022-09-15 08:46:45 · 1153 阅读 · 0 评论 -
分布式计算框架Flink核心基石介绍
Flink作为主流的分布式计算框架,满足批流一体、高吞吐低时延、大规模复杂计算、高可靠的容错和多平台部署能力。前文中介绍了Flink的数据流处理流程以及基本部署架构和概念,本文将对Flink中的核心基石进行深入介绍原创 2022-09-07 18:58:03 · 1133 阅读 · 0 评论 -
分布式系列之分布式计算框架Flink深度解析
Flink作为主流的分布式计算框架,满足批流一体、高吞吐低时延、大规模复杂计算、高可靠的容错和多平台部署能力。[本文简要介绍了Flink中的数据流处理流程以及基本部署架构和概念,以加深对分布式计算平台的了解]...原创 2022-08-29 20:28:18 · 2490 阅读 · 1 评论 -
分布式系列之分布式实时计算系统Storm解析
Storm作为分布式实时计算框架,已广泛使用多年,形成成熟的大数据分析和实时计算平台体系。本文简要介绍Storm的架构和一些概念如Topology、Spout和Bolt,以作了解。原创 2022-08-16 08:40:53 · 1958 阅读 · 0 评论 -
分布式系列之分布式分析计算引擎Spark解析
Spark作为一种通用的大数据分析引擎,集成了批处理、流式查询以及交互式查询于一体,其技术体系相当复杂,本文简要介绍了Spark中的基本架构和基本概念RDD和执行流程,以及Spark on YARN两种模式。...原创 2022-08-04 19:17:08 · 2194 阅读 · 2 评论 -
分布式计算框架Hadoop核心组件概述
Hadoop作为成熟的分布式计算框架在大数据生态领域已经使用多年,本文简要介绍Hadoop的核心组件MapReduce、YARN和HDFS,以加深了解。原创 2022-07-30 09:45:43 · 3019 阅读 · 1 评论 -
分布式系列之分布式锁几种实现机制
在分布式系统中,分布式锁用来解决分布式系统中多线程、多进程在不同机器上共享资源访问的问题。本文简要介绍分布式锁的四种实现机制,包括数据库、Redis缓存、Zookeeper和Etcd,以加深了解。...原创 2022-07-13 08:58:22 · 1568 阅读 · 10 评论 -
应用使用Druid连接池经常性断链问题分析
前段时间有应用使用Druid连接池经常的提示断链报错,整个问题排查分析过程很有意思。这里将Druid连接池、数据库层以及负载均衡层的配置分析下,记录整个问题的分析过程,同时梳理下Druid连接池的配置和连接保活及回收机制。...原创 2022-07-05 08:56:33 · 10816 阅读 · 4 评论 -
分布式系列之分布式一致性算法解密
分布式一致性算法为了使基于分布式系统架构下的所有节点进行事务处理过程中能够保持原子性和一致性而设计的一种算法。本文介绍几种常用的一致性算法,包括2PC、3PC、共识算法Paxos、基于日志的复制算法Raft、Zookeeper的ZAB协议等...原创 2022-06-21 08:49:35 · 542 阅读 · 6 评论 -
分布式系统CAP理论解析
在分布式系统架构下,CAP理论已经成为公认的定理,随着二十年技术的发展,CAP理论的解读也发生了些变化。本文简要介绍CAP理论的原理及证明思路,以及在分布式架构下的适用性,以加深理解。原创 2022-04-27 12:30:41 · 5508 阅读 · 7 评论 -
分布式文件系统HDFS架构解析
HDFS是以中间控制节点为代表的分布式存储架构,一部分节点 NameNode 是存放管理数据,另一部分节点DataNode存放业务数据。本文简要整理HDFS分布式文件系统的整体架构和关键技术,进一步了解不同分布式存储技术实现原因上的差异。原创 2022-04-06 08:49:06 · 5907 阅读 · 22 评论 -
分布式存储Swift原理分析
swift是完全无中心架构,采用一致性哈希算法获得数据的位置。本文简要总结swift存储的整体架构和关键技术,进一步了解不同分布式存储技术实现原因上的差异。原创 2022-03-30 08:59:59 · 5009 阅读 · 11 评论 -
分布式存储Ceph中的CRUSH算法
CRUSH算法是一种基于hash的数据分布算法,在Ceph集群中以cluster map作为输入将数据映射到所有的存储设备之间。本文简单介绍Ceph中的CRUSH算法原理。原创 2022-03-09 08:40:55 · 4092 阅读 · 0 评论 -
分布式存储Ceph中的逻辑结构Pool和PG
Ceph中的逻辑对象有Object、Pool、PG,本文简单介绍相关的概念以及之间的关系,PG状态变化过程等。原创 2022-03-01 08:32:59 · 4550 阅读 · 0 评论 -
分布式存储Ceph存储系统RADOS
RADOS是Ceph最为关键的技术,它是一个完整的对象存储系统,所有存储在Ceph系统中的数据最终由这一层来存储。本文主要介绍RADOS的系统架构和IO处理流程,以了解Ceph存储的设计原理。原创 2022-02-19 18:16:51 · 5074 阅读 · 0 评论 -
分布式系列之开源分布式存储技术分析
分布式存储在云计算及容器技术中将广泛使用,本文仅简单介绍了下几个主流的开源分布式技术,整个分布式存储系列相当复杂,文中介绍略微粗浅且当引子。原创 2022-02-10 08:51:35 · 5287 阅读 · 0 评论 -
分布式系列之分布式存储ceph初识
分布式存储广泛用于云计算领域,Ceph作为流行的开源分布式存储系统成为OpenStack的首选后端存储。本文简要介绍Ceph的特点及功能,并安装部署Ceph集群环境。原创 2022-01-27 19:20:21 · 2632 阅读 · 0 评论