伪分布式hadoop+spark+scala 超详细搭建

 1.上传并解压相应的包

 

 

2.设置JAVA环境变量

 （1）在文件的最后增加如下两行

 （2）执行 source 使设置生效

（3）检查 JAVA 是否可用

 能够正常显示 Java 版本则说明 JDK 安装并配置成功

实现免密登陆

（1）创建ssh秘钥，输入如下命令，生成公私密钥

（2）将master公钥id_dsa复制到master进行公钥认证，实现本机免密登陆，测试完exit退出

 Hadoop环境的安装与配置

（1）修改环境变量最后两行加入以下内容

（2）编辑usr/local/src/hadoop-2.7.1/etc/hadoop/下的hadoop-env.sh

 修改配置文件为jdk的安装路径

(3) 编辑usr/local/src/hadoop-2.7.1/etc/hadoop/下的core-site.xml

 (4)编辑usr/local/src/hadoop-2.7.1/etc/hadoop/下的hdfs-site.xml

 (5)复制usr/local/src/hadoop-2.7.1/etc/hadoop/下的mapred-site.xml.template并改名位mapred-site.xml

 (6)编辑usr/local/src/hadoop-2.7.1/etc/hadoop/下的mapred-site.xml

 (7)编辑usr/local/src/hadoop-2.7.1/etc/hadoop/下的yarn-site.xml

 （8)编辑salves

 (9)格式化hdfs

（10）启动集群 jps查看,登录网页 

 安装伪分布式spark

（1）解压复制文件重命名

（2）修改配置文件

（3）进入spark目录的/sbin下启动spark集群，jps查看

 

（4）启动spark-shell

（5）查看网址

安装伪分布式scala 

（1）解压并配置文件

 （2）重新加载

（3）启动