Spark安装 （含JAVA, Hadoop安装）

Part I. 安装软件

---

为了安装Spark，本次安装同时安装了JAVA1.8, Hadoop2.7.7和Spark-2.4.4, 具体如下：

 

Part II. JAVA安装

---

Java 下载地址：

https://www.oracle.com/technetwork/java/javase/downloads/index.html

2.1 JAVA安装

主要是JDK安装。

观察 jdk-8u20-linux-i586.tar.gz，实际上它是个解压即可的免安装型文件，我们打算把它安装在目录（/usr/lib/jvm/）下，即解压到这个目录下即可。初次安装unbutu，则，目录/usr/lib 是在 Computer 文件系统里的目录，而目录 jvm(也可以用其
它名字)是不存在的，需要自己建立。

#新建 jvm 文件（#符号表示对下面命令的解释）
$ sudo mkdir /usr/lib/jvm

#进入到放置 jdk 安装包的目录将 jdk-8u20-linux-i586.tar.gz 解压到/usr/lib/jvm
$ sudo tar -zxvf jdk-8u20-linux-i586.tar.gz -C /usr/lib/jvm

到此 jdk 的安装结束，此时在目录/usr/lib/jvm/下可以看到新生成了文件jdk1.8.0_20

Part III. HADOOP安装

---

Hadoop 下载地址：

https://archive.apache.org/dist/hadoop/common/

3.1 配置hadoop user 密码

i.e.: username: hadoop, password: 1；修改hadoop权限可以使得hadoop 和su有同样的权限;

切换user时用命令

su hadoop

3.2 配置ssh

 

3.3 Hadoop安装

和 jdk 一样是解压即安装的软件包，终端进入软件包 hadoop-2.7.7.tar.gz 的目录下运
行下面命令进行解压安装到/usr/local/
$ sudo tar -zxvf hadoop-2.7.7.tar.gz -C /usr/local/ 

3.4 Hadoop配置

参考了《hadoop 与 spark 的安装与配置》，但要注意其中的Hadoop路径不同主要是

5.6 配置文件 hdfs-site.xml

（我这里已经将hadoop路径改为本机的）