Hadoop搭建

一:1.查看已经存在的jdk.将其卸载

rpm -qa | grep jdk

2.将查询出来的版本号卸载

rpm -e --nodeps --查询出来的版本号

3上传jdk和hadoop压缩包,并解压到想解压的路径下

4配置环境变量

 

 使环境变量生效

使用命令查看当前环境变量是否配置正确

java -version

hadoop version

 二:  修改hadoop的配置文件

1.进入到/opt/hadoop-2.8.1/etc/hadoop目录下

 

 修改jdk的环境变量

 2 vim core-site.xml

 添加上以下配置

 3  vim hdfs-site.xml

 

4  

mv mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

 

5  vim yarn-site.xml

 

 三   关闭防火墙

关闭当前防火墙                      systemctl stop firewalld

开启设置不自动启动               systemctl disable firewalld

四  设置免密登录

ssh-keygen -t rsa  直接三次回车

 cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

 五 格式化namenode

hadoop namenode -format

六 启动并查看

start-dfs.sh

 第一次运行可能需要输入几次yes

 使用jps命令

 在浏览器输入  虚拟机的ip地址:50070用于访问web页面