Part I. 安装软件
为了安装Spark,本次安装同时安装了JAVA1.8, Hadoop2.7.7和Spark-2.4.4, 具体如下:
Part II. JAVA安装
Java 下载地址:
https://www.oracle.com/technetwork/java/javase/downloads/index.html
2.1 JAVA安装
主要是JDK安装。
观察 jdk-8u20-linux-i586.tar.gz,实际上它是个解压即可的免安装型文件,我们打算把它安装在目录(/usr/lib/jvm/)下,即解压到这个目录下即可。初次安装unbutu,则,目录/usr/lib 是在 Computer 文件系统里的目录,而目录 jvm(也可以用其
它名字)是不存在的,需要自己建立。
#新建 jvm 文件(#符号表示对下面命令的解释)
$ sudo mkdir /usr/lib/jvm
#进入到放置 jdk 安装包的目录将 jdk-8u20-linux-i586.tar.gz 解压到/usr/lib/jvm
$ sudo tar -zxvf jdk-8u20-linux-i586.tar.gz -C /usr/lib/jvm
到此 jdk 的安装结束,此时在目录/usr/lib/jvm/下可以看到新生成了文件jdk1.8.0_20
Part III. HADOOP安装
Hadoop 下载地址:
https://archive.apache.org/dist/hadoop/common/
3.1 配置hadoop user 密码
i.e.: username: hadoop, password: 1;修改hadoop权限可以使得hadoop 和su有同样的权限;
切换user时用命令
su hadoop
3.2 配置ssh
3.3 Hadoop安装
和 jdk 一样是解压即安装的软件包,终端进入软件包 hadoop-2.7.7.tar.gz 的目录下运
行下面命令进行解压安装到/usr/local/
$ sudo tar -zxvf hadoop-2.7.7.tar.gz -C /usr/local/
3.4 Hadoop配置
参考了《hadoop 与 spark 的安装与配置》,但要注意其中的Hadoop路径不同主要是
5.6 配置文件 hdfs-site.xml
(我这里已经将hadoop路径改为本机的)
<configuration>
<pr