Spark2.2——RpcEnv(一)

  Spark1.6推出的RpcEnv、RpcEndPoint、RpcEndpointRef为核心的新型架构下的RPC通信方式,在底层封装了Akka和Netty,为未来扩充更多的通信系统提供了可能。RpcEnv是一个更宏观的Env,是Spark集群Rpc通信的基础服务环境,因此在集群启动时候所有的...

2019-01-16 11:00:22

阅读数 152

评论数 0

Spark2.2源码剖析——SecurityManager

  SecurityManager主要对帐号、权限以及身份认证进行设置和管理。如果 Spark 的部署模式为 YARN,则需要生成 secret key (密钥)并存储 Hadoop UGI。而在其他模式下,则需要设置环境变量 _SPARK_AUTH_SECRET(优先级更高)或者 spark.a...

2019-01-15 13:46:13

阅读数 126

评论数 0

Spark2.2源码剖析——SparkContext初始化及Spark环境创建

  阅读指导:在《Spark2.2——SparkContext概述》一文中,曾经简单介绍了SparkEnv。本节内容将详细介绍SparkEnv的创建过程。   在Spark中,凡是需要执行任务的地方就需要SparkEnv。在生产环境中,SparkEnv往往运行于不同节点的Executor中。但是...

2019-01-15 12:22:50

阅读数 113

评论数 0

Spark2.2——MemoryManager

占个位

2019-01-15 11:33:08

阅读数 65

评论数 0

Spark2.2源码剖析——SparkContext

  Spark应用程序的提交离不开Spark Driver,后者是驱动应用程序在Spark集群上执行的原动力。了解Spark Driver的初始化,有助于理解Spark应用程序与Spark Driver的关系。   而Spark Driver的初始化始终围绕着SparkContext的初始化。S...

2019-01-14 13:19:29

阅读数 230

评论数 0

Spark2.0较于Spark1.x的更新之处

Spark Core&Spark SQL API 1、dataframe与dataset统一,dataframe只是dataset[Row]的类型别名,统一了Dataframe和Dataset两套API。 从Spark 2.0开始,Dataframe就只是Dat...

2019-01-03 11:17:43

阅读数 211

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭