Storm的DRPC

Storm是一个分布式实时处理框架,DRPC(Distributed RPC)提供了一种访问集群处理功能的接口。DRPC简化了通过创建TCP/HTTP监听接收数据并在Bolt中发送的过程。DRPC工作流程包括:接收RPC请求、发送请求到Storm topology、从topology获取结果、将结果返回给客户端。DRPC topology使用DRPCSpout接收函数调用,经过计算后,ReturnResults bolt将结果发送回DRPC服务器,服务器根据id将结果返回给对应的客户端。
摘要由CSDN通过智能技术生成

Storm drpc

 1.DRPC介绍

Storm是一个分布式实时处理框架,它支持以DRPC方式调用.可以理解为Storm是一个集群,DRPC提供了集群中处理功能的访问接口.其实即使不通过DRPC,而是通过在Topoloye中的spout中建立一个TCP/HTTP监听来接收数据,在最后一个Bolt中将数据发送到指定位置也是可以的。而DPRC则是Storm提供的一套开发组建,使用DRPC可以极大的简化这一过程。Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPU intensive的计算。DRPC的storm topology以函数的参数流作为输入,而把这些函数调用的返回值作为topology的输出流。DRPC其实不能算是storm本身的一个特性, 它是通过组合storm的原语spout,bolt, topology而成的一种模式(pattern)。本来应该把DRPC单独打成一个包的, 但是DRPC实在是太有用了,所以我们我们把它和storm捆绑在一起。
2.DRPC工作流介绍
Distributed RPC是由一个”DPRC Server”协调的(storm自带了一个实现)。DRPC服务器协调
1) 接收一个RPC请求。
2) 发送请求到storm topology 
3) 从storm topology接收结果。
4) 把结果发回给等待的客户端。
从客户端的角度来看一个DRPC调用跟一个普通的RPC调用没有任何区别。

DRPC的工作流大致是这样的:(DRPC Server传入和返回参数相较于下图已经变了,但大致意思是一样的)

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值