深入分析Memcached的线程接入模型---上

最新推荐文章于 2024-07-24 21:04:47 发布
最新推荐文章于 2024-07-24 21:04:47 发布
阅读量6.4k 收藏 4
点赞数
分类专栏： 海量架构设计 Cpp&linux技术 文章标签： memcached thread struct socket 数据结构 cache
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tenfyguo/article/details/5273828
版权

memcached是一个分布式的内存cache系统，目前被大量地运用于各种各样的站点中，以不断提高站点的总体访问性能，而另外一方面，memcached的使用是非常简单的，可以说，使用门槛很低，这也许是造成memcached目前非常流行的原因之一。

 

我们可以看到，网上分析memcached的文章也比较多，本文是笔者结合memcached源代码的基础上对其线程接入模型进行深入的分析，通过学习和借鉴memcached设计和实现上 的一些思想，为我们的系统架构设计增添新的思路。

 

简单的说，memcached的实现并没有使用多进程模型，而是选择了多线程的模型，可以说，这种实现的方案确实是比较轻量级的。而多线程是基于libevent的事件机制以及基于管道pipe的信令周知机制来实现的。

 

主线程main_thread完成了系统的初始化和生成指定数量的worker_thread

最低0.47元/天 解锁文章
tenfyguo
关注
专栏目录
Redis——Redis线程模型原理
庄小焱
12-30 1258
Redis 作为缓存系统的事实标准，它的底层原理值得开发者去深入学习，Redis 自 2009 年发布第一版之后，其单线程网络模型的选择在社区中从未停止过讨论。如今到网络上搜索redis线程模型原理文章。都存在很多的误导大家的学习，同时没有深入对redis的线程模型的原理和redis到底使用的是单线程还是使用的多线的原因解释不清楚，今天博文博文将详细的介绍redis3.5的单线模型和redis6.0的多线程模型的原理。
人工智能大模型技术基础系列之：分布式模型存储与加载
程序员光剑
11-01 264
随着人工智能技术的快速发展，大规模语言模型（Large Language Models, LLMs）如GPT-3、BERT、T5等在自然语言处理领域取得了突破性进展。这些模型通常包含数十亿甚至上千亿个参数，为了有效地存储、加载和推理如此庞大的模型，分布式技术成为了不可或缺的解决方案。本文将深入探讨大模型分布式存储与加载的核心技术，包括模型并行、张量并行、流水线并行等关键概念，以及它们在实际应用中的实现方法和优化策略。
Memcached源码分析(线程模型)
服务器端开发
03-05 140
目前网上关于memcached的分析主要是内存管理部分，下面对memcached的线程模型做下简单分析 有不对的地方还请大家指正,对memcahced和libevent不熟悉的请先google之 先看下memcahced启动时线程处理的流程 [img]http://bachmozart.iteye.com/upload/attachment/81342/167202a5-1214-33c...
Memcached源码分析之线程模型
xufengyongyou的专栏
01-21 341
转自 http://calixwu.com/2014/11/memcached-yuanmafenxi-xianchengmoxing.html 一）模型分析 memcached到底是如何处理我们的网络连接的？ memcached通过epoll（使用libevent，下面具体再讲）实现异步的服务器，但仍然使用多线程，主要有两种线程，分别是“主线程”和“worker线程”，一个主线
Memecached 线程模型
orzlzro的专栏
05-03 1055
1. main函数中调用thread_init()，初始化setting.num_threads个worker线程以及一个主线程dispatcher_thread。 每个worker线程用pipe创建一个管道，并注册libevent事件，当管道的读端可以读时，就调用thread_libevent_process()函数。 thread_libevent_process()做的事情等下再说。
memcached 线程模型
weixin_30485799的博客
09-13 114
memcached 线程模型如下图所示 memcached 线程可分为两种，一是负责基本事件处理(如启动时间更新，连接请求等)和内存管理等的线程， 二是负责网络读写请求处理的线程即 worker threads 。这里只对 worker threads 进行讨论。 在分析之前，先看一下相关的数据结构和变量定义: 1. 连接队列(thread.c) /* An item in the...
Memcached的线程模型
许立峰的专栏
09-04 477
目前网上关于memcached的分析主要是内存管理部分，下面对memcached的线程模型做下简单分析  有不对的地方还请大家指正,对memcahced和libevent不熟悉的请先google之  memcached的多线程主要是通过实例化多个libevent实现的,分别是一个主线程和n个workers线程  无论是主线程还是workers线程全部通过libevent管理网络事件，实际
Redis 多线程网络模型全面揭秘
Linuxhus的博客
09-05 245
Redis 作为缓存系统的事实标准，它的底层原理值得开发者去深入学习，Redis 自 2009 年发布第一版之后，其单线程网络模型的选择在社区中从未停止过讨论，多年来一直有呼声希望 Redis 能引入多线程从而利用多核优势，但是作者 antirez 是一个追求大道至简的开发者，对 Redis 加入任何新功能都异常谨慎，所以在 Redis 初版发布的十年后才最终将 Redis 的核心网络模型改造成多线程模式，这期间甚至诞生了一些 Redis 多线程的替代项目。
【愚公系列】《AIGC辅助软件开发》011-AI辅助编写技术文档：技术文档
最新发布
时光隧道
07-24 1万+
在当今快速发展的技术环境中，技术文档的编写变得愈加重要。无论是软件开发、产品设计，还是系统架构，清晰、准确的技术文档不仅能帮助团队成员快速理解项目，还能为用户提供必要的使用指导。然而，编写高质量的技术文档常常是一项繁琐且耗时的任务。随着人工智能技术的不断进步，AI工具的辅助作用逐渐显现，特别是在技术文档的编写过程中。借助AI，开发者和技术作家可以更高效地生成、编辑和维护文档，从而专注于更高层次的创作和思考。
Memcached线程模型（1）
tycoon的专栏
08-22 503
http://liuzhaomin.blog.163.com/blog/static/18363949820121913425501/
Memcached源码解析--多线程网络模型
06-11 859
一、网络模型         Memcache网络底层采用的Libevent，其网络模型就是大名鼎鼎的半同步半异步。关于Libevent可以参看我之前写的一篇拙文《Libevent源码解析--事件处理框架》，半同步半异步可以看这篇有名的博文。         在阅读本文前，建议先阅读《Libevent源码解析--事件处理框架》，这样很多概念便于理解，很多组件或术语在这儿不再赘述。 二、多
Memcached线程模型分析
KangRoger的专栏
08-30 2037
介绍Memcached中多线程如何实现，线程之间如何通信等问题
memcached 多线程机制
03-30 617
memcache 使用了多线程。多线程内容主要包含线程监听事件的机制，阻塞还是非阻塞；以及主线程和辅助线程的同步机制。 在监听事件机制方面主线程和辅助线程都使用了基于libevent的非阻塞机制。同步机制则使用了管道，即主线程先写入加锁的缓存区，然后向对应管道中写入命令。辅助线程先监听了管道的读，则可以通过读事件获取通知，做出相应处理。主线程仅仅是监听服务端口。值得注意是命令协议格式仅仅为一个字符，可能是为了处理方便。辅助线程负责解析客户端命令，处理命令，最后关闭相应连接。这些工作都是辅助线程完成，..
memcached结构分析（一）——线程模型
Road Ahead
08-08 6535
题记：         最近在阅读memcached的源代码，打算将自己学习所得成文留念，更因为是第一次正式接触memcached，水平有限，希望大家多多交流。此系列文章按自己的理解将memcached分成几个模块分别分析。这里以memcached-1.4.6为例。
深度剖析memcached源代码线程模型
tenfyguo的技术专栏
09-20 826
<br />      memcached是轻量级的分布式的内存cache系统，大量用于各种站点的内存cache，提高系统性能，memcached的设计和实现本身都是比较简单的，基本上只用到了线程模型，而不是传统上的进程模型，接入是依赖于libevent的事件通知机制，并且利用管道来作为事件的触发和周知，比如向worker线程的接收管道写入一个byte，则触发绑定到该管道的读事件，而读事件的处理逻辑则是从该线程的CQ(链接队列)里面获取一个连接对象，然后绑定该链接对象的读事件，依次进行事件的触发和周知，下图
memcached的线程模型
el_vr的专栏
08-31 423
http://blog.csdn.net/tenfyguo/article/details/5274435
memcached线程模型
weixin_33843409的博客
06-23 191
直接上图: memcached使用多线程模型，一个master线程，多个worker线程，master和worker通过管道实现通信。 每个worker线程有一个队列，队列元素为CQ_ITEM。 typedef struct { pthread_t thread_id; /* unique ID of this thread */ struct ev...
memcached 的多线程是什么？如何使用它们？
siyuanwai的博客
07-27 359
线程就是定律（threads rule）！ 在Steven Grimm 和Facebook 的努力下，memcached 1.2 及更高版本拥有了多线程模式。多线程模式允许memcached 能够充分利用多个CPU，并在CPU 之间共享所有的缓存数据。memcached 使用一种简单的锁机制来保证数据更新操作的互斥。相比在同一个物理机器上运行多个memcached 实例，这种方式能够更有效地处理multi gets。 如果您的系统负载并不重，也许您不需要启用多线程工作模式。如果您在运行一个拥有大规模硬件的、
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值