Hadoop与Spark搭建与应用程序开发

参考：http://dblab.xmu.edu.cn/blog/2441-2/
http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/
http://dblab.xmu.edu.cn/blog/1187-2/

Hadoop与Spark搭建与应用程序开发

1.安装ssh
保证虚拟机可以连接外网。

安装成功后，ssh登录本机。

2.安装Java
在/usr/lib目录下新建jvm文件夹，把安装包放到/usr/lib/jvm下，然后解压。


JDK文件解压缩以后，可以执行如下命令到/usr/lib/jvm目录查看一下：

可以看到，在/usr/lib/jvm目录下有个jdk1.8.0_221目录。下面继续执行如下命令，设置环境变量：

在.bashrc文件中添加如下内容：

保存.bashrc文件并退出vim编辑器。然后，继续执行如下命令让.bashrc文件的配置立即生效：

这时，可以使用如下命令查看是否安装成功：

3.安装Hadoop
将 Hadoop 安装至 /usr/local/ 中：

Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息：