接下来是运行环境的重头戏,比较繁琐,需要仔细认真核对配置信息:
9. 配置hadoop
目标:在master上面安装并配置hadoop,然后拷贝到slave上面,再进行配置
1) 下载并解压文件至/opt文件夹下
安装文件:hadoop-2.6.1.tar.gz
(演示一下ssh传送命令)scp /home/hadoop/hadoop-2.6.1.tar.gz hadoop@101.5.208.157:/opt
2) 配置各个文件参数(包含ip以及jdk路径)
/opt/hadoop-2.6.1/etc/hadoop/core-site.xml 改ip
/opt/hadoop-2.6.1/etc/hadoop/slaves 其中填写ip就可以
/opt/hadoop-2.6.1/etc/hadoop/hdfs-site.xml 改为mster的ip
/opt/hadoop-2.6.1/etc/hadoop/yarn-site.xml 改为mater的ip
/opt/hadoop-2.6.1/etc/hadoop/mapred-site.xml 改为master的ip
/opt/hadoop-2.6.1/etc/hadoop/hadoop-env.sh 修改jdk的路径以及 hadoop路径等
/opt/hadoop-2.6.1/etc/hadoop/yarn-env.sh 修改jdk的路径
3) 配置路径/etc/profile
hadoop的路径需要配置
source /etc/profile 实在不行重启电脑 4) 在特定位置新建文件夹