![](https://img-blog.csdnimg.cn/20181213081302752.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
源码分析-twemproxy研究
(1) 用通俗的原理讲解twemproxy的实现原理
(2) 分析twemproxy的实现源码
一 铭
公众号:大数据架构师修行之路
展开
-
twemproxy0.4原理分析-批量操作(mset,hset等)的实现原理
概述 本文描述twemproxy0.4对批量消息处理命令的实现原理。这些命令例如:mset,mget等。 引言 当客户端发送的是批处理命令(如:mset,hset等)时,可能出现同一条命令的多个key分别发送到多个后端服务器的情况。 例如如下命令: mget key1 key2 key3 假如后端的redis集群有两台redis服务器,则可能出现以下key分配情况: key1 => re...原创 2019-01-05 15:50:26 · 872 阅读 · 0 评论 -
twemproxy0.4原理分析-消息处理过程原理分析
概述 本文讲述了twemproxy0.4的消息处理流程。通过本文可以了解到twemproxy0.4的消息处理全流程。 流程总体描述 作为一个代理服务器twemproxy0.4,首先要接收来自client的了解,和client端建立好连接;然后,需要后后端的服务器建立连接,并把从client端接收到的连接发送给后端服务器,然后把服务器端的返回信息通过和client的连接发送给client。最后完成整...原创 2019-01-05 12:08:54 · 616 阅读 · 0 评论 -
twemproxy0.4原理分析-内存管理原理分析
概述 本文分析twemproxy0.4的内存管理机制。 不像java,go等语言c/c++代码需要自己维护内存,内存管理对于c/c++后台服务来说非常重要,一般来说好的c/c++后台服务都会考虑编写自己的内存管理模块,比如: nginx, memcached等。 最简单的内存管理模型是:建立两个队列,一个是正在使用的队列,一个是空闲队列。常用的数据结构(或对象)使用完后把它放入到空闲队列中,而当要...原创 2018-12-15 10:09:12 · 475 阅读 · 0 评论 -
twemproxy0.4原理分析-消息处理机制概览
概述 本文描述twemproxy0.4的消息处理机制的概览。 twemproxy0.4会通过FIFO(先进先出)队列的方式来对消息进行排队。本文先介绍一个消息处理的概要框架,后续会详细讲解该消息框架的实现。 消息处理框架总述 在创建后台网络服务程序时,后台服务的个数是有限的。而来自客户端的请求可能是无限的,但我们需要尽可能的满足客户端的请求,让客户端的体验不至于太差。这样我们就需要对客户端的请求进...原创 2018-12-20 09:57:11 · 293 阅读 · 0 评论 -
twemproxy0.4原理分析-系统初始化过程原理分析
概述 本文介绍twemproxy的系统初始化过程。该过程包括以下几个方面的内容: 读取配置文件,根据配置文件初始化数据结构 和后台服务器建立连接,形成服务器连接池 初始化事件处理框架,并设置最开始的事件处理函数 创建twemproxy的监听socket,并把该监听socket添加到事件处理框架中,用来监听客户端的连接请求。 加载配置文件 twemproxy0.4是根据YAML文件格式来进行后台...原创 2018-12-12 15:09:51 · 423 阅读 · 1 评论 -
twemproxy0.4原理分析-一致性hash算法实现ketama分析
概述 本文是一致性hash算法的一种开源代码的实现:ketama的源码分析。 本文是我多年前的一篇文章整理而来,以前的那篇文章的链接可以在这里查看。 简介 若我们在后台使用NoSQL集群,必然会涉及到key的分配问题,集群中某台机器宕机时如何key又该如何分配的问题。 若我们用一种简单的方法,n = hash( key)%N来选择n号服务器,一切都运行正常,若再考虑如下的两种情况: 一个 cac...原创 2018-12-06 08:42:28 · 769 阅读 · 0 评论 -
twemproxy0.4原理分析-基本原理介绍和优缺点分析
引言 接下来将会写一个分析twemproxy的系列。该系列会对twemproxy最新版v0.4的源码进行分析,对设计原理进行剖析,力求用通俗的语言和图来表达设计思想,并结合实际的使用达到深入浅出的效果。 概述 twemproxy是一个redis和memcached的轻量级分布式代理,本文介绍twemproxy0.4的基本功能、特征和总体架构。 twemproxy的总体架构 twemproxy的总体...原创 2018-12-06 08:22:17 · 2077 阅读 · 0 评论