Spark 2.1.0 环境搭建

一、准备环境

• 虚拟机软件：Oracle VM VirtualBox
• 操作系统 ：Ubuntu 16.04
• jdk版本：1.8
• Hadoop安装
  • 版本：2.7.1
  • 参考:http://dblab.xmu.edu.cn/post/bigdatapractice2/
• 原Spark版本：1.6.2

二、准备安装文件

访问林子雨的学习网站：《Spark编程基础(Scala版)》教材官网_厦门大学数据库实验室​​​​​​​​​​​​​

下载文件 spark-2.1.0-bin-without-hadoop.tgz放在/home路径下，并切换为当前路径

解压到路径/usr/local下，并切换为当前路径，文件夹更名为spark2，修改文件夹权限

$ sudo tar -zxf spark-2.1.0-bin-without-hadoop.tgz  -C /usr/local
$ cd /usr/local
$ sudo mv ./spark-2.1.0-bin-without-hadoop ./spark2