分布式消息队列采用memcacheq + magent来实现,预处理器主要实现获取消息队列的任务(消息),并做预处理分析,然后存储到redis中去,其中主线程负责读取队列,子线程负责处理队列,每个工作线程维持了自己的一个工作队列,主线程负责将消息hash后插入到对应的工作队列中去,redis的分布式是借鉴了lightcloud的实现,因为lightcloud是python语言的,不得不重写一个c语言的。
分布式消息队列采用memcacheq + magent来实现,预处理器主要实现获取消息队列的任务(消息),并做预处理分析,然后存储到redis中去,其中主线程负责读取队列,子线程负责处理队列,每个工作线程维持了自己的一个工作队列,主线程负责将消息hash后插入到对应的工作队列中去,redis的分布式是借鉴了lightcloud的实现,因为lightcloud是python语言的,不得不重写一个c语言的。