Hadoop标准分布式搭建详细教程

1.在开始前还请把主机和从机地ip和免密配置好，本人是用虚拟机安装的centos7系统，为了操作方便连接了xshell，下面开始!

使用XFTP上传文件到Linux系统里面， jdk 和Hadoop，点击xshell 绿色按钮解压jdk和Hadoop

tar -zxvf 文件名

2.建议改名

mv 原文件名 新文件名

3.配置环境变量

打开环境变量的配置文件
vi /etc/profile
在文件末尾追加内容：
export JAVA_HOME=/home/liuping/jdk
export HADOOP_HOME=/home/liuping/hadoop
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
刷新环境变量
source /etc/profile
检查配置是否成功：
java -version
hadoop version
​
把主机的环境变量复制给从机
特别注意： 把用户目录下的文件全部复制到其他机器用户目录下，以liuping举例：
scpr -r /home/liuping congji1:/home/

然后修改Hadoop的配置文件

配置文件目录在Hadoop里面   etc/hadoop
cd hadoop/etc/hadoop/

 

1.hadoop-env.sh 配置jdk的绝对路径

 

2.yarn-env.sh 配置jdk的绝对路径

 

3.core-site.xml

 

4.hdfs-site.xml

 

5.mapred-site.xml

这个文件本身不存在，需要从mapred-site.xml.template这个文件改名或者复制

mv mapred-site.xml.template  mapred-site.xml

 

6.yarn-site.xml

 

7.slaves 里面写所有从机的机器名

 

启动

1.把主机用户目录下的文件复制到多台从机

scp -r /home/liuping congji1:/home/

2.关闭所有机器的防火墙

systemctl stop firewalld
systemctl disbale firewalld

3.在主机上面进行格式化操作，产生一个数据的存储文件。（正常只需要1次，后面启动不需要了）

要确定格式化正确哈

hdfs namenode -format

4.启动,只在主机启动，从机由主机控制

1.分开启动
    start-dfs.sh
    start-yarn.sh
2.合并启动
    start-all.sh
3.关闭Hadoop
  stop-dfs.sh
  stop-yarn.sh
  stop-all.sh

5.查看进程 jps

 

6.登录网页验证是否成功。

主机IP:50070