spark
大彪先生
大彪的日常思考分享,程序猿看世界,不仅仅是技术。 :)
展开
-
Spark 通讯模块 以及常用分布式通讯方式
Spark的Cluster Manager可以有Local、Standalone、Mesos、YARN等部署模式. 常用分布式通信方式: 1. RPC(Remote Produce Call) RPC远程过程调用协议,基于C/S模型调用。过程大致可以理解为本地分布式对象向本机发送请求,不用自己编写底层通讯机制。通过网络向服务器发原创 2015-07-08 22:29:25 · 877 阅读 · 0 评论 -
spark 1.3.1 master 源码初探01
首先打开远程调试: 1.在spark/conf/spark-env.xml里面加入下列代码允许master远程调试 export SPARK_MASTER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10000" 2.IDE原创 2015-07-08 22:15:52 · 1093 阅读 · 0 评论