![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Young
李国华技术博客
李国华技术博客
展开
-
简单Spark源码分析
1 Master启动流程 1、在start-master.sh脚本中调用Mater.scala中的main方法 2、在main方法中封装spark参数,并调用startRpcEnvAndEndpoint()创建RpcEnv 3、在startRpcEnvAndEndpoint中创建RpcEnv(AkkaSystem),创建masterEndPoint(actor),new Master(),实原创 2018-01-15 19:53:33 · 615 阅读 · 0 评论 -
spark基础-001
1 概述 ## 1.1 简介 ## Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一。 Spark为我们提供了一个全面、统一的框架用于管理各种有着不同性质(文本数据、图表数据等)的数据集和数据源(批量数据或实时的流数据)的大数据处理的需求。 利用内存数据存储和接近原创 2018-01-19 16:20:11 · 709 阅读 · 0 评论