1.下载JDK安装包
2.卸载自带openJDK
rpm -qa | grep java
rpm -e --nodeps 删除的包
rpm -qa | grep java
java --version
显示未找到命令
3.安装JDK
在root命令下执行:tar -zxvf jdk-8u152-linux-x64.tar.gz -C /usr/local/src/
4.设置JAVA环境变量
执行vi /etc/profile,在后面增加以下两行:
执行source使设置生效和检查JAVA是否可用:
5.实现免密登录
1.创建ssh密钥,执行一下命令,生成公私密钥
ssh-keygen -t dsa -P "-f ~/.ssh/id_dsa
2.实现本机免密登录
ssh-copy id -i /root/.ssh/id_dsa.pub master
ssh master
exit
6.Hadoop环境的安装与配置
1.将压缩包解压到/usr/local/soft/目录下,将解压文件改为hadoop
2.修改环境变量,执行vim /etc/profile,增加以下两行到最后:
再source /etc/profile 使配置生效
3.编辑 /usr/local/soft/hadoop/etc/hadoop/hadoop-env.sh文件
4.编辑 /usr/local/soft/hadoop/etc/hadoop/core-site.xml
5.编辑 /usr/local/soft/hadoop/etc/hadoop/hdfs-site.xml文件
6.复制文件名为mapred-site.xml,执行以下命令,从第三行cp开始:
7.编辑 /usr/local/soft/hadoop/etc/hadoop/yarn-site.xml文件
8.编辑/usr/local/soft/hadoop/etc/hadoop/slaves文件
10.启动集群jps查看登陆网页
输入http://master:50070,即可查看网页
7.安装伪分布式spark
1.解压安装包到/usr/local/soft目录
2.复制和重命名得到spark-env.sh,打开spark-env.sh添加内容
3.进入spark目录的/sbin下启动spark集群,jps查看
5.查看网页http://master:8080
8.安装伪分布式scala
1.将解压包安装到/usr/local/soft目录下
2.配置scala环境变量,重新加载配置文件,运行scala