Hadoop伪分布式搭建

1.搭建准备

（1）准备虚拟机，配置IP

（2）设置防火墙，关闭selinux

（3） 设置IP与主机映射

2.ssh无密钥登录

（1）生成秘钥

（2）将秘钥发送给主机

 

（3）验证密码 

3. 配置环境

（1）上传jdk安装包并解压

 

（2）设置java环境变量

 

 

（3） Hadoop环境的安装和配置

上传Hadoop安装包并解压：

 配置环境：

 

 

编辑hadoop-env.sh文件：

 

编辑core-site.xml文件：

编辑hdfs-site.xml文件：

编辑mapred-site.xml文件：

 

 

编辑yarn-site.xml文件：

 

编辑/usr/local/src/hadoop-2.7.1/etc/hadoop/slaves 文件：

 

格式化hdfs：

启动Hadoop集群：

 

查看jps：

4.在浏览器中查看验证

在主机浏览器中输入http://master:50070查看网页 ：

5.Spark伪分布式搭建

 （1）上传spark安装包并解压

 （2）进入conf目录

备份spark-env.sh.template文件，改名为spark-env.sh

[root@master bin]# cd /usr/local/spark-2.0.0-bin-hadoop2.6/conf/

[root@master conf]# cp spark-env.sh.template spark-env.sh

 （3）编辑 spark-env.sh 文件

（4）启动spark集群

 （5）查看jps

6.启动spark-shell

7.在浏览器中验证查看

在主机浏览器中输入http://master:8080查看验证：

8.Scala伪分布式搭建

（1）上传Scala安装包并解压

（2）配置Scala环境

 

9.验证Scala