原创

服务器端的消息分发和路由机制

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/gongbenwen/article/details/41824265

服务器端的大数据处理和分布式应用,一直是最近几年很火的框架应用,有很多开源框架,都是针对大数据的处理而设计的,这些数据处理框架能很好的利用集群中计算机的分布处理性能。

但是迁移到开源的框架总是有代价的,这涉及到原有的系统升级和新的接口修订,为了向框架靠拢而靠拢,但很多时候,需要的数据处理,可能只是这些大框架的一部分,因此可以自己构建自己的分布式应用框架。

基于已完成的通用通信模块部分,整个分布式处理的基石就有了,因为要与老的系统接口保持兼容性,因此原来的序列化机制也就不做改动了,直接引入新的框架。

在老的系统处理中,面临的最大问题,是消息的分发和自动路由的负载均衡,因为系统是要用来处理业务,就不去按照MapReduce做分布式计算了,这个在眼前还没法驾驭其在一个事务中。

新的系统中数据的处理思路还与老的系统一致,但是老的系统有一个很大的问题在于消息分发时,很多时候都是在硬编码,而不是在消息层去通过订阅机制处理,这就造成了开发中的极大的不通用性,老系统还面临的问题,是数据的集中处理,想要分布到其他空闲的应用服务器上,就比较吃力,尤其是在应用扩展时,如何实现设备动态扩容,就更无法想象了。本着解决上述问题的思路,引入新的消息处理机制。

新的消息分发处理中,引入了消息中心机制,他负责生产者的消息投递和消费者的消费,消息中心开放监听端口,消息发布者和消费者通过各自的TCP处理通道,来发布和订阅消息,消息接口统一,在拉取时,根据接口进行自动配对,通过监听各应用处理服务器的性能,来达到负载均衡的目的。

本质上是将客户端和服务器端服务的直接通信过程,通过消息中心进行了分解,将一个同步的过程变成了异步的过程。

文章最后发布于: 2014-12-09 15:31:14
展开阅读全文
0 个人打赏

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 1024 设计师: 上身试试

分享到微信朋友圈

×

扫一扫,手机浏览