Spark
文章平均质量分 91
yoyocheknow
菜鸟一枚
展开
-
Spark及生态圈概述
1.Spark概述及特点先看下官网的描述:Spark:快如闪电般的统一分析引擎。 Apache Spark 是一个专门为大数据集处理的统一分析引擎。有以下特点: Speed Run workloads 100x faster. Apache Spark achieves high performance for both batch and streaming d...原创 2018-08-16 11:53:12 · 3551 阅读 · 0 评论 -
Spark源码编译及使用
这一篇我们来把Spark环境搭建起来。我们使用编译源码的方式来生成Spark的安装包,为什么不直接用官方的安装包呢?因为我们在使用spark的时候会结合Hadoop来使用,有自己的需求,所以我们使用源码来编译。首先去官网上来下载源码。我们选择2.1.0版本。然后解压。spark源码使用maven构建的,所以在编译之前我们最好下载一个maven,maven版本至少在3.3.9至少,另外J...原创 2018-08-17 10:45:37 · 9710 阅读 · 5 评论