Spark 通讯模块 以及常用分布式通讯方式

原创 2015年07月08日 22:29:25
Spark的Cluster Manager可以有Local、Standalone、Mesos、YARN等部署模式.

常用分布式通信方式:
    1. RPC(Remote Produce Call)
                RPC远程过程调用协议,基于C/S模型调用。过程大致可以理解为本地分布式对象向本机发送请求,不用自己编写底层通讯机制。通过网络向服务器发送请求,服务器对象接收参数,进行处理,再把处理后的结果发送回客户端。
    2.RMI(Remote Method Invocation)
                 RMI和RPC一样都是调用远程的方法,可以把RMI看做的用Java语言实现了RPC协议。RPC不支持对象通信,支持对象传输,这也是RMI相比RPC的优越之处
    3.JMS(Java Remote Service)
                 JMS是在各个Java类之间传递消息的标准,其支持P2P和pub/stub两种消息模型,即点对点和发布订阅模型。其优点在于:支持异步通信,消息生产者和消费者耦合度低。应用程序通过读写出入队列的消息(针对应用程序的数据)来通信,而无须专用连接来连接它们
    4.EJB(Enterprise Java Bean)
                EJB是Java EE的一个规范,该规范描述了分布式应用程序需要解决的事务处理,安全、日志、分布式等问题。与此同时,Sun公司也实现了自己定义的这一个标准,相当于自己颁布一个标准。EJB是一个特殊的Java类,按照Java服务器接口定义,放在容器里可以帮助该类管理事务、分布式、安全等,只有大型分布式系统间才会用到EJB,一般小型程序不会用到。
    
    5.Web Service
       Web Service是网络间跨语言、跨平台的分布式系统间的通信标准。传输XML、JSON等格式的数据,应用范围较广.但是同构语言不建议使用,效率太低,也不适合传输大数据量的数据,XML无用数据太多

Scala教程(十)函数与闭包详解

本地函数:函数式编程风格的一个重要设计原则:程序应该被解构成若干小的函数,每个完成一个定义良好的任务。单个函数经常很小。这种风格的好处是它给了程序员许多可以灵活组装成更复杂事物的建造模块。每个小块应该...
  • yuan_xw
  • yuan_xw
  • 2015年09月24日 21:17
  • 2900

Spark MLlib数据类型

MLlib支持几种数据类型:本地向量(local vectors),和存储在一个简单机器中的矩阵(matrices),以及由一个或多个RDDs组成的分布式矩阵. 1,本地向量(Local Vec...

关于分布式系统架构模块通讯方式选择的问题

     对于一个用户访问量比较大的互联网系统,当用户数达到一定数量时,系统总会存在瓶颈或处理极限,即很难做出快速响应,处理效率逐步低下。对于如何应对用户量不断增长的情形,较直观的方案就是采用分布式系...
  • sallay
  • sallay
  • 2011年06月02日 01:13
  • 7503

通讯协议实现相关模块 Big-endian大端方式存储

现在有如下通信协议,请实现相关函数模块。 此协议是一个二进制协议,每个协议报文由如下数据流构成,数值都以Big-endian大端方式存储: { TotalSize[2], Crc32[4], ...

组态软件的常用通讯方式解析

  • 2015年06月28日 10:35
  • 102KB
  • 下载

关于几种常用的通讯方式(1):RS485、RS232、RS422

今天在项目中用到了MAX3485芯片,因此开一帖,来做一个小记录。 综述 我们都知道,在一半情况下我们会使用串口进行通讯,但是这种串口只适合连接2个设备之间,因此存在很多不方便之处(比如我们进行一对多...

ActivityMQ中几种常用通讯方式

简介      在前面一篇文章里讨论过几种应用系统集成的方式,发现实际上面向消息队列的集成方案算是一个总体比较合理的选择。这里,我们先针对具体的一个消息队列Activemq的基本通信方式进行探讨。a...

Service和Activity通讯的3种常用方式示例

一般的Android业务开发中,Service的使用十分常见。稍微复杂点的业务逻辑,都需要Serivice在执行某些耗时操作后通知Activity。总结常见的三种方法。         分别是:(1)...

基于Openfire Smack开发即时通讯应用、Spark安装,注册,登录,退出登录(二)

上一篇已经把服务器的Openfire环境搭建好了,现在我们就可以来搭建应用App的环境了这样就可以使用Smack的API来与服务器进行通信了。一:继续去igniterealtime下载Smack的ja...
  • a_zhon
  • a_zhon
  • 2017年03月10日 15:24
  • 2739
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Spark 通讯模块 以及常用分布式通讯方式
举报原因:
原因补充:

(最多只允许输入30个字)