关注
分享
文章平均质量分 62
服务器开发方向有nginx,apache的模块开发，cgi,lua脚本开发，以及原生的服务器开发等，在业务类别上包扩web类，流媒体类等。
实际开发中以业务需求为导向，以高并发为追求。
xiaofei_chain
手游方案提供者
展开
-
hashmap 设计
先来看看泛型的数据队列。自然界中的数据关系多分为两种，拿人类来看，一类是靠人与人之间的关系来互相关联，我称为关系型，另一种是靠屁股相互关联，我称为位置型。对于关系型，一个富豪家族，女屌丝想成为其中成员很简单，与其中一个老头建立夫妻关系就加入了这个家族，被虐待了后想脱离它也很简单，解除夫妻关系就完事了。再看看位置型，比如厕所里有20个坑，上面都贴上数字，有人报告第17个坑堵了，找起来会很原创 2013-06-03 13:54:24 · 4008 阅读 · 8 评论 -
rbtree 设计
什么是树？大街上到处都是，大伙别说没看过，除非你在沙漠中。树大致可以分为根，茎，枝，叶。大树枝会套小树枝，树枝上都有叶子。西方人有个圣诞节，圣诞来了，圣庭老人在树上的每个枝丫上都挂了礼物，礼物上都写上一个小朋友的名字，让小朋友去树上摘。问题来了，现在有两颗树，A原创 2013-06-02 22:22:01 · 3312 阅读 · 3 评论 -
搭建一个后台服务器--服务端（异步，大并发）
上篇的阻塞模式下服务器的并发只有几K，而真正的server 像nginx, apache, yumeiz 轻轻松松处理几万个并发完全不在话下，因此大并发的场合下是不能用阻塞的。1W的并发是一个分隔点，如果单进程模型下能达到 的话，说明至少在服务器这块你已经很厉害了。服务器开发就像一门气功，能不能搞出大并发，容错性处理得怎么样，就是你有没有内功，内功有多深。异步模式是专门为大并发原创 2013-03-31 18:31:42 · 7368 阅读 · 6 评论 -
对于nginx的思考2---事件处理
nginx的事件处理函数ngx_process_events_and_timers，linux上最终会调用 ngx_epoll_process_events。之后epoll_wait 后得到相应的事件，再做相应的处理，即监听与处理是在同一个线程中处理的，这样会有几个问题：1.如果有多个事件，必须等待上一个事件处理完毕才能处理下一个。2.同一个connection，只能按”接收-发送-接原创 2013-03-12 12:08:22 · 1839 阅读 · 1 评论 -
epoll 事件处理的细节分析2
准确的说epoll事件就是IO事件,包括文件、socket、pipe等，linux把他们统称为文件，统一的接口调用，驱动层不同实现。这里分成四类：监听套餐接字，链接套接字，文件，pipe，相应的触发条件1.监听套接字：有新链接连上临听套接字，并三次握手成功时2.链接套接字有IO读写，且传输层接收/发送完毕3.普通文件有IO读写4.pipe有IO读写，且有锁保原创 2013-03-13 12:13:42 · 2526 阅读 · 1 评论 -
什么样的服务器才能叫做大并发
我觉得服务器在成为大并发前，首先要能承受住大并发的压力，无论能否正常返回，首先不能崩溃。apache和nginx是两个出名的服务器，先来分析一下它们。大量用户访问的时候，apache会创建大量的进程数，吃掉大量的内存，而nginx内存这块做得很好，不过这也是nginx的瓶颈所在。所谓有内存就是给你花的，你不花怎么对得起服务器呢，何况现在的服务器一般都是高配。快速响应与内存大小其实是原创 2013-03-13 15:40:50 · 4898 阅读 · 10 评论 -
epoll 处理并发的一些想法
首先，epoll 是线程安全的，系统调用的底层有锁保护。这就意味着，多线程处理的可行性：线程A监听，线程B负责处理，当A线程 accept 一个 socket后传递给B，B处理完后，可以直接关掉socket,并调用 epoll_ctl 来取消A线程与socket的关联。考虑到并发性，可以建立监听线程池C与处理线程池D。考虑到业务的无关联性，可以为connection建立小的生命周期原创 2013-03-12 11:02:39 · 2417 阅读 · 0 评论 -
对于nginx的思考
作为轻理级web server，nginx的优势明显，尤其是对反向代理，负载均衡的处理。nginx对IO用filter模型实现gzip的处理，可以新增filter,增删模块。开发人员对于nginx的模块开发热情，似乎有渐涨的趋势，国内最出名的要算taobao了，开发了了很多模块(http://openresty.org)。但是模块多了，用的人维护起来也是一个麻烦事，也偏离了nginx的原创 2013-03-12 11:25:24 · 2074 阅读 · 0 评论 -
epoll 事件处理的细节分析
先来纠正一下观念。epoll 是区分读写事件，这主要取决于底层驱动的支付。如：struct epoll_event ee;ee.events= EPOLLIN | EPOLLOUT;epoll_ctl( epfd, EPOLL_CTL_MOD, fd, &ee );等来事件可读的时候epoll_wait 返回的 ee.events 就会是 EPOLLIN可写原创 2013-03-13 11:23:21 · 2028 阅读 · 0 评论 -
高并发服务器的设计--缓存的设计
为什么需要缓存呢？很简单的道理，拿QQ做个比方，每天有几亿用户登录、查询个人信息，且这些信息基本不会变化，如果你是架构师，你会选择全部从数据库中查询么，估计会被笑的。一些业务要求大量且高速查询的，数据库必然会成为瓶颈，虽然可以通过横向扩容的方式优化，但这不是最优方案，其实服务器优化没有一个放之四海而皆准的最优方案，业务不同，最优方案也不同。举个例子，腾讯有十几亿用户，就光登录就是个头疼原创 2013-05-30 11:52:52 · 9753 阅读 · 13 评论 -
高并发服务器的设计--架构与瓶颈的设计
做架构设计，难免有时候被人问及系统的瓶颈在哪，那首先来了解下什么是瓶颈？打个形象的比方,人的嘴巴可以吞下一整个面包，但是却咽不下去，因为食管不给力，它比较细，所以嘴巴能吞下的食物大小要受到食管的粗细限制。城市内部每天会产生几十万件跨城快递，可是跨城的交通不给力，只允许走小型卡车，一卡车一次就能装几千件，一天下来也不一定能投送的完。人在一定时间内能咽下多少食物，货运公司在一天运送多少货物原创 2013-05-27 20:48:57 · 10361 阅读 · 8 评论 -
高并发服务器的设计--内存池的设计
不同的业务，设计也不尽相同，但至少都一些共同的追求，比如性能。做服务器开发很多年了，有时候被人问到，服务器性能是什么呢？各种服务器间拼得是什么呢？简单的回答就是QPS，并发数，但有时候想想也许也不对。QPS与并发数是针对同样的业务而言的，业务不同，相同的服务器能承受的压力也会不同。性能，也许可以打个俗点的比方：服务器就是一艘船，性能就是船的容量，开的速度，行得是否稳当。该用原创 2013-05-26 13:05:15 · 21763 阅读 · 14 评论 -
服务器技术的发展方向
技术永远是服务于产品的，产品则是服务于大环境的，在目前的大环境下，大部分服务器找载着以下几类服务：小站，以asp/jsp/php最具代表型.门户网站，如 qq新闻/163视频网站，如youku/kankan电商网站， 如淘宝娱乐软件后台，如微信，微博我们看看区别小站永远离不开虚拟机，国内那些坑爹的空间提供商哪会给你整台服务器。后面几种才运行于独立的服务器。原创 2013-03-25 15:37:46 · 3770 阅读 · 5 评论 -
大并发服务器不得不说的技术--sendfile
socket发送函数。int send( SOCKET s, const char FAR *buf, int len, int flags );如果内容是动态生成的，一般是把传输内容直接丢给buf中用send函数传输，没有优化的空间。文件传输则要先把内容read到buf中，因此至少两次内核调用，如果文件很大，可能会用一个循环调用，如：while( size == P原创 2013-03-16 18:11:51 · 3030 阅读 · 0 评论 -
大并发服务器不得不说的技术--writev
前面我们说过，对于静态文件的传输，用sendfile可以减少系统调用，现在我们看看动态的数据应该如何处理。首先，如果数据足够小（小于1024）且只有唯一的一个buffer,我们直接用 send/write 就可以了。通常的情况下，程序可能会在多个地方产生不同的buffer,如 nginx，第一个phase里都可能会产生buffer，放进一个chain里，如果对每个buffer调用一次s原创 2013-03-20 11:26:58 · 8709 阅读 · 2 评论 -
大并发服务器不得不说的技术--connect 异步
前面我们谈的大多是服务端与客户端的技术，服务器开发其实有时还会涉及到跨服务器的访问，比如腾讯的拍拍服务器需要知道登录的会员信息，就需要访问会员服务器。跨务器访问会涉及到很多的技术，比如访问权限控制，数据同步等，这里主要来学习一下传输层。为了更容易理解，我们将访问端服务器称为客户端，被访问端服务器称为服务端。客户端发起一个连接的过程：socket_fd = socket( A原创 2013-03-21 04:05:48 · 3672 阅读 · 5 评论 -
高并发服务器的设计--连接池的设计
高并发服务器需要有一些池的设计，如内存池，连接池，数据库连接池。池（pool)的设计主要考虑到一些资源的频繁申请和释放，尤其是在高并发的服务器中，几万甚至几十万并发每秒，设计人员不得不去考虑这些。比如数据库连接池（sql pool)，是通过TCP来通信的，属于IO类，有一定的延时，在高并发系统中频繁的创建会严重影响系统性能。内存( mem )的分配是要涉及锁( mutex )的，有锁就原创 2013-05-24 11:44:04 · 7633 阅读 · 12 评论 -
高并发服务器的设计--fastcgi的设计
服务器开发中不何或缺的要使用fastcgi,其使用方法如下：while( FCGI_Accept() >= 0 ){ printf( "Content-type: text/plain \r\n" "Content-Length: %d\r\n" "Connection: close\r\n\r原创 2013-05-23 10:17:51 · 5856 阅读 · 0 评论 -
epoll 事件处理的技术内核分析
epoll高效机制其实就是内核回调，我们知道linux把socket也是当成file处理的，只是底层驱动不一样。先来看看内核文件结构：struct file_operations { struct module *owner; loff_t (*llseek) (struct file *, loff_t, int); ssize_t (*re原创 2013-03-13 11:00:06 · 2587 阅读 · 0 评论 -
大并发服务器不得不说的技术--tcp cork
如果把tcp当成服务端与客户端的管道，cork 就是给管道加个塞子。为什么 要加个塞子呢？先来举个例子：int times = 10;while( times--){ send( sock_fd, buf, 1, 0 )}这段program会发送数据10次，每次就发送1个字节，这样会不会什么问题呢？记得以前农忙的时候，田里的稻子收割完了，要打成原创 2013-03-17 08:36:54 · 3584 阅读 · 3 评论 -
大并发服务器不得不说的技术--http 缓存
前面所说技术订都是服务器端一个人在努力，有时候也需要客户端配合。一个链接请求过程大致可以分成几个阶段如果客户端发送同样的请求，且结果都一样，我们是不是可以缓冲一下呢?是不是可以减少几步呢? 的确可以，一般来说以下几种方法：1.我们先试着在服务端进行缓冲，我们试着将一个已经返回的长链接发送内容不作释放，下次请求时直接返回刚才发送的内容，这个不适用于频繁访问，适原创 2013-03-20 16:10:04 · 3466 阅读 · 0 评论 -
大并发服务器内存转换的灵活运用,memcpy的思考
在很多的网络开发中，经常会碰到一些内存转换，如下面的场景：#define PACKAGE_PARSE_ERROR -1#define PACKAGE_PARSE_OK 0int parse_package( int* a, int* b, int* c, int* d, char* buf, int buf_len ){ if( !buf || buf_len <原创 2013-05-22 11:42:18 · 4530 阅读 · 7 评论 -
大并发服务器之阵痛1---传输响应模式
如果你在淘宝上买过衣服，你会发现，模特的图片一张张的加载起来实在是有点慢。有时候体验简直很糟糕。我们来分析下传输生命线：这是ald.taobao.com 域名下的三次请求，我们发现是按顺序的请求响应，不禁要问，为什么三个请求不同时进行呢，能不能重叠呢。现在市面上各类服务器如nginx, apache对HTTP的传输响应目前都只有一种，即：请求----响应----请求----原创 2013-05-19 16:01:07 · 3199 阅读 · 2 评论 -
搭建一个后台服务器--服务端代码（异步，大并发）
#include #include #include #include #include #include #ifndef WIN32#include #include #include #include #include #include #else#include #define close( f ) closesocket( f )#endifstruc原创 2013-03-31 20:05:04 · 5407 阅读 · 10 评论 -
搭建一个后台服务器--服务端（阻塞）
为什么 要在标题后面加个“阻塞”呢，因为系统为了增大并发，减小等待（阻塞），建立了另一种事件模式，后文将介绍，这里只介绍阻塞的模型。阻塞服务器要干的事大致可以分为以下几步：1.创建服务端监听连接2.产生用户连接3.接收用户请求4.发送返回给用户敲码过程如下：设置监听地址与端口： addr_server.sin_family = AF_INET; add原创 2013-03-31 17:52:41 · 3795 阅读 · 2 评论 -
搭建一个后台服务器--客户端
上篇规定的协议请求部分：request:username/password, 约定username与password 各占32个字节（联同末位0)可以将客户端的逻辑设计成：1.将username,password 封装进buffer2.连接服务端3.发送buffer4.接收二进制的系统当前时间 5.显示时间 代码如下：服务原创 2013-03-31 14:08:51 · 4789 阅读 · 1 评论 -
搭建一个后台服务器--引子
最近去了几家公司面试，有一些大公司（比如企鹅）的考核内容真心弱智，考的都是些算法，尼玛，拿一个刚毕业的学生来做说不定也可以过的，看来本来就不是在招搞服务器的，举个例子，企鹅多个部门都曾出的一道题：如何知道集合A,B中的相关性。意思就是哪些元素在A,B之中都有，哪些元素在A,B中不都出现。其实解法很简单，学过算法的完全可以做到 。我们知道集合具有互异性，就是集合中的元素只能出现一次，可以建一原创 2013-03-31 11:42:55 · 3905 阅读 · 4 评论