onlyxp的专栏

转载 Memcached源码分析(线程模型)

目前网上关于memcached的分析主要是内存管理部分，下面对memcached的线程模型做下简单分析 有不对的地方还请大家指正,对memcahced和libevent不熟悉的请先google之 先看下memcahced启动时线程处理的流程 memcached的多线程主要是通过实例化多个libevent实现的,分别是一个主线程和n个workers线程 无论是主线程还

原创 我的技术志

第一篇. 技术志03年-始:秋,进入吉林大学软件工程...冬,结识同窗好友赵某.他的创业激情感染了我, 我找到了真正的兴趣,自此开始勤习软件技术.04年-勤习基本功: c,c++,VB.net,C#,asp.net,java,html/wml/css/javascript,as.数据结构,算法.05年-深入与沉淀: ACE, ICE, j2EE, .net framework,

原创 最近解决的几个疑难bug

1. MapReduce任务悬挂问题.原因:  1). MR程序bug, 数据bug(需要程序中做好边界检测和内存使用控制);  2). IO限速控制导致MR饿死现象.  3). 全局任务调度导致饿死  4). Rereduce机制.2.  ucontext出现invalidate instruction问题.原因: 栈溢出导致, 需要分配足够容量.  3. snacc

原创 分布式系统开发

 基础网络架构  全异步系统(没有blocking, 可达到各组件最好的综合利用率)  CAP & BASE  弱事务网络框架  基本原理:    reactor,proactor, half-sync/half-async, active object, monitor objectC  libevent  成功案例: memc

转载 八大排序算法总结

插入排序1.直接插入排序原理：将数组分为无序区和有序区两个区，然后不断将无序区的第一个元素按大小顺序插入到有序区中去，最终将所有无序区元素都移动到有序区完成排序。要点：设立哨兵，作为临时存储和判断数组边界之用。实现：Void InsertSort(Node L[],int length){Int i,j;//分别为有序区和无序区指针for(i=1;i

原创 cloudx系列第一个开源项目cloudscribe发布

cloudx解决方案第一个开源项目cloudscribe发布.cloudscribe是一个分布式的数据收集系统.主要用于海量数据收集. 数据类别包括日志，监控采集信息,实时统计信息.用于后端进行海量数据挖掘，实时dashboard展示，分布式系统监控等.项目地址为: http://code.google.com/p/cloudscribe

翻译 hadoop MapReduce Job失效模型

hadoop设计的初衷就是容错.计算任务(MapReduce task)能够在节点宕机或其它随机错误下自行恢复.但是hadoop并不完美,在实际运营中,我发现MapReduce Job仍然经常会因为一些偶发性错误而运行失败.所以我决定深入探究一下各种不同因素是如何导致job失败的.如果一个hadoop job的某个给定task在失败预定次(默认是4)后,整个job就会失

原创 SweetyGirls