- 博客(1)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Spark运行环境之SparkEnv和通信工具RpcEnv
Spark在运行时Driver端和Executor端需要互相通信，那么这种通信是如何进行的？ 在SparkEnv中有两个方法createDriverEnv，createExecutorEnv，分别用于创建Driver端和Executor端的SparkEnv对象。 看一下SparkEnv对象的结构，从下面的代码中可以看到SparkEnv包含了Spark中很多重要组件，比如用于通信的RpcEnv，用于...
2019-01-03 17:14:15
2555
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人