本文介绍了如何在Ubuntu系统上进行Spark的下载与安装，包括JDK的准备，从Apache官网获取预编译版Spark，以及设置日志级别。接着展示了通过ipython_notebook和python打开Spark的方式，并解释了Spark的基础概念——RDD。最后，通过一个简单的单词统计应用，阐述了Spark程序执行的基本架构，涉及驱动器和执行器的角色。
2.1Spark下载与安装
JDK的安装
JDK的版本最好是1.8以上，使用的是ubuntu系统
安装源
sudo add-apt-repository ppa:webupd8team/java sudo apt-get update
安装jdk
sudo apt-get install oracle-java8-installer sudo update-java-alternatives -s java-8-oracle测试
java -version javac -version
注：JDK的默认安装目录为：JAVA_HOME="/usr/lib/jvm/java-8-oracle"Spark的安装
spark的下载网址是：http://spark.apache.org/downloads.html
选择需要的版本下载，最好下载预编译版（prebuilt）
最低0.47元/天 解锁文章
408
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
