伪分布式.

1.下载JDK安装包

2.卸载自带openJDK

rpm -qa | grep java

rpm -e --nodeps 删除的包

rpm -qa | grep java

java --version

显示未找到命令

3.安装JDK

在root命令下执行：tar -zxvf jdk-8u152-linux-x64.tar.gz -C /usr/local/src/

4.设置JAVA环境变量

执行vi /etc/profile,在后面增加以下两行：

执行source使设置生效和检查JAVA是否可用：

5.实现免密登录

1.创建ssh密钥，执行一下命令，生成公私密钥

ssh-keygen -t dsa -P "-f ~/.ssh/id_dsa

2.实现本机免密登录

ssh-copy id -i /root/.ssh/id_dsa.pub master

ssh master

exit

6.Hadoop环境的安装与配置

1.将压缩包解压到/usr/local/soft/目录下，将解压文件改为hadoop

2.修改环境变量，执行vim /etc/profile,增加以下两行到最后：

再source /etc/profile 使配置生效

3.编辑 /usr/local/soft/hadoop/etc/hadoop/hadoop-env.sh文件

4.编辑 /usr/local/soft/hadoop/etc/hadoop/core-site.xml

5.编辑 /usr/local/soft/hadoop/etc/hadoop/hdfs-site.xml文件

6.复制文件名为mapred-site.xml,执行以下命令,从第三行cp开始:

7.编辑 /usr/local/soft/hadoop/etc/hadoop/yarn-site.xml文件

8.编辑/usr/local/soft/hadoop/etc/hadoop/slaves文件

10.启动集群jps查看登陆网页

输入http://master:50070,即可查看网页

7.安装伪分布式spark

1.解压安装包到/usr/local/soft目录

2.复制和重命名得到spark-env.sh,打开spark-env.sh添加内容

3.进入spark目录的/sbin下启动spark集群，jps查看

5.查看网页http://master:8080

8.安装伪分布式scala

1.将解压包安装到/usr/local/soft目录下

2.配置scala环境变量，重新加载配置文件，运行scala