Hadoop集群搭建步骤(新手必看，小白教程)

搭建集群准备软件：

1.虚拟机镜像文件

2.jdk压缩包

3.hadoop压缩包

一、创建文件夹

       mkdir -p /export/servers

二、设置ip

       查看IP：ip addr

       修改IP：vi /etc/sysconfig/network-scripts/ifcfg-ens33

       修改：BOOTPROTO="static"

       在最后面添加：

       IPADDR="192.168.XXX.XXX"

       GATEWAY="192.168.XXX.2"

       NETMASK="255.255.255.0"

       DNS1="114.114.114.114"

       重启网络服务：service network restart

三、修改主机名：vi /etc/hostname

       重启虚拟机：reboot

       在虚拟机中ping www.baidu.com

四、设置ip映射

       vi /etc/hosts

五、设置ssh免密

       ssh-keygen -t rsa  四次回车

       ssh-copy-id hadoop041

       ssh-copy-id hadoop042

       ssh-copy-id hadoop043

六、配置jdk和hadoop

    在Xftp中找到export/servers目录 上传jdk和hadoop压缩包

    在xshell中解压：

    cd /export/servers

    tar -xzvf j(按Tab键自动补齐文件名)

    tar -xzvf h(按Tab键自动补齐文件名)

    在Xftp中的/export/servers目录中修改jdk1.8.0_161名字为jdk

七、配置jdk和hadoop变量

    在Xftp中的etc目录中找到profile文件在最后面添加以下代码：

    #配置jdk环境变量

    export JAVA_HOME=/export/servers/jdk

    export PATH=$PATH:$JAVA_HOME/bin

    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

    #配置hadoop环境变量

    export HADOOP_HOME=/export/servers/hadoop-2.7.4

    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    保存之后在xshell中输入source /etc/profile使配置文件生效

    输入java -version 查看java版本

    输入hadoop version 查看hadoop版本

八、配置hadoop

    在Xftp中找到export/servers/hadoop-2.7.4/etc/hadoop目录

    1.找到hadoop-env.sh文件  找到export JAVA_HOME=${JAVA_HOME}

      修改=后面为/export/servers/jdk

    2.找到core-site.xml文件

      在<configuration></configuration>标签中添加以下代码：

      <!-- 用于设置Hadoop的文件系统，由URI指定 -->

<property>

    <name>fs.defaultFS</name>

    <!-- 用于指定namenode地址在hadoop01机器上 -->

    <value>hdfs://hadoop041:9000</value>

</property>

<!-- 配置Hadoop的临时目录，默认/tmp/hadoop-${user.name} -->

<property>

    <name>hadoop.tmp.dir</name>

    <value>/export/servers/hadoop-2.7.4/tmp</value>

</property>

     3.找到hdfs-site.xml文件

       在<configuration></configuration>标签中添加以下代码：

<!-- 指定HDFS副本的数量 -->

<property>

    <name>dfs.replication</name>

    <value>3</value>

</property>

<!-- secondary namenode 所在主机的IP和端口 -->

<property>

    <name>dfs.namenode.secondary.http-address</name>

    <value>hadoop042:50090</value>

</property>

      4.找到mapred-site.xml.template文件

        复制该文件  然后粘贴并重命名为mapred-site.xml

        在<configuration></configuration>标签中添加以下代码：

        <!-- 指定MapReduce运行时框架，这里指定在YARN上，默认是local -->

<property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

</property>

      5.找到yarn-site.xml文件

        在<configuration></configuration>标签中添加以下代码：

        <!-- 指定YARN集群的管理者(ResourceManager)的地址 -->

<property>

    <name>yarn.resourcemanager.hostname</name>

    <value>hadoop041</value>

</property>

<property>

    <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>

</property>

       6.找到slaves文件

         删掉localhost  添加以下代码：

         hadoop041

         hadoop042

         hadoop043

九、超级复制(把hadoop04的配置文件分发给hadoop05和hadoop06)

    在hadoop04中执行以下命令：

    scp /etc/profile hadoop042:/etc/profile

    scp /etc/profile hadoop043:/etc/profile

    scp -r /export/ hadoop042:/

    scp -r /export/ hadoop043:/

    在hadoop05和hadoop06中执行source /etc/profile命令使配置文件生效

十、格式化文件系统(在hadoop041中)

    hdfs namenode -format

    出现successfully formatted表示格式化成功

十一、启动集群

    start-all.sh

    hadoop041五个进程

    hadoop042四个进程

    hadoop043三个进程

十二、关闭防火墙

    查看防火墙状态：systemctl status firewalld.service

    关闭防火墙：systemctl stop firewalld.service

    关闭防火墙自启：systemctl disable firewalld.service

十三、Windows  ip映射

    在电脑搜索框中搜索记事本，右键以管理员身份打开

    按Ctrl+O打开C:\Windows\System32\drivers\etc

    右下角选择所有文件类型   打开hosts文件

    配置三台虚拟机IP和主机名

十四、web查看

    查看hdfs界面：hadoop041:50070

    查看yarn界面：hadoop041:8088