搭建单机版伪分布式Hadoop+Spark+Scala

一、前期准备

1.1 关闭防火墙和selinux

1.2 修改IP与主机映射

二、安装JAVA环境

2.1 卸载自带 OpenJDK

2.2 将安装包解压到/usr/local/src 目录下

2.3 设置 JAVA 环境变量

在文件的最后增加如下两行：

export JAVA_HOME=/usr/local/src/jdk1.8.0_152

export PATH=$PATH:$JAVA_HOME/bin

执行 source 使设置生效：

检查 JAVA 是否可用

三、实现免密登陆

3.1 创建ssh秘钥，输入如下命令，生成公私密钥

3.2 将master公钥id_dsa复制到master进行公钥认证，实现本机免密登陆，测试完exit退出

四、搭建伪分布式Hadoop

4.1 将/root下的hadoop-2.7.1.tar.gz压缩包解压到/opt目录下，并将解压文件改名为hadoop

4.2 修改环境变量，source生效

4.3 编辑hadoop-env.sh文件

cd /opt/hadoop/etc/hadoop/

4.4 core-site.xml

4.5 hdfs-site.xml

4.6 mapred-site.xml

复制mapred-site.xml.tmplate 名为mapred-site.xml 

编辑mapred-site.xml文件

4.7 yarn-site.xml

4.8 slaves

4.9  格式化hdfs

4.10 启动集群 jps查看,登录网页

在浏览器的地址栏输入http://master:50070，进入页面可以查看NameNode和DataNode 信息 

五、搭建伪分布式spark

5.1 将安装包解压到/usr/local目录下

5.2 进入spark/conf目录，复制spark-env.sh.template得到spark-env.sh，打开spark-env.sh添加内容

5.3 进入spark目录的/sbin下启动spark集群，jps查看

5.4 启动spark-shell

5.5 查看网页http://master：8080

六、搭建伪分布式scala

6.1 将安装包解压到/usr/local目录下

6.2 配置scala环境变量，重新加载配置文件

6.3 运行scala