![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
Swordfall
这个作者很懒,什么都没留下…
展开
-
Spark源码解析(一) —— Spark-shell浅析
1.准备工作1.1 安装spark,并配置spark-env.sh使用spark-shell前需要安装spark,详情可以参考http://www.cnblogs.com/swordfall/p/7903678.html如果只用一个节点,可以不用配置slaves文件,spark-env.sh文件只需配置为master_ip和local_ip两个属性spark-env.sh添加如下配置:export...原创 2018-07-08 01:56:19 · 265 阅读 · 0 评论 -
Spark设计理念与基本架构
1.基本概念Spark中的一些概念:RDD(resillient distributed dataset):弹性分布式数据集。Partition:数据分区。即一个RDD的数据可以划分为多少个分区。NarrowDependency:窄依赖,即子RDD依赖于父RDD中固定的Partition。Narrow-Dependency分为OneToOneDependency和RangeDependency两种...原创 2018-07-09 19:53:44 · 428 阅读 · 0 评论