服务器端的消息分发和路由机制

服务器端的大数据处理和分布式应用,一直是最近几年很火的框架应用,有很多开源框架,都是针对大数据的处理而设计的,这些数据处理框架能很好的利用集群中计算机的分布处理性能。

但是迁移到开源的框架总是有代价的,这涉及到原有的系统升级和新的接口修订,为了向框架靠拢而靠拢,但很多时候,需要的数据处理,可能只是这些大框架的一部分,因此可以自己构建自己的分布式应用框架。

基于已完成的通用通信模块部分,整个分布式处理的基石就有了,因为要与老的系统接口保持兼容性,因此原来的序列化机制也就不做改动了,直接引入新的框架。

在老的系统处理中,面临的最大问题,是消息的分发和自动路由的负载均衡,因为系统是要用来处理业务,就不去按照MapReduce做分布式计算了,这个在眼前还没法驾驭其在一个事务中。

新的系统中数据的处理思路还与老的系统一致,但是老的系统有一个很大的问题在于消息分发时,很多时候都是在硬编码,而不是在消息层去通过订阅机制处理,这就造成了开发中的极大的不通用性,老系统还面临的问题,是数据的集中处理,想要分布到其他空闲的应用服务器上,就比较吃力,尤其是在应用扩展时,如何实现设备动态扩容,就更无法想象了。本着解决上述问题的思路,引入新的消息处理机制。

新的消息分发处理中,引入了消息中心机制,他负责生产者的消息投递和消费者的消费,消息中心开放监听端口,消息发布者和消费者通过各自的TCP处理通道,来发布和订阅消息,消息接口统一,在拉取时,根据接口进行自动配对,通过监听各应用处理服务器的性能,来达到负载均衡的目的。

本质上是将客户端和服务器端服务的直接通信过程,通过消息中心进行了分解,将一个同步的过程变成了异步的过程。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值