Hadoop搭建要点及注意事项

目录

一、Linux的相关配置

1、关闭防火墙

2、关闭selinux

 3、设置IP映射

4、设置SSH免密登录

二、 安装配置JDK

三、安装Hadoop

1、Hadoop版本选择

2、配置文件的修改

3、设置环境变量

4、格式化HDFS文件系统

5、启动集群

四、参考资料

---

        Hadoop集群的搭建分为几种模式，此处采用完全分布式搭建方式，另可考虑搭建高可用方式。

一、Linux的相关配置

1、关闭防火墙​​​​​​​

        每台机器都需要关闭防火墙及其自启动。

2、关闭selinux

        每台机器都需要关闭selinux。

 3、设置IP映射

         每台机器都需要设置IP映射。

4、设置SSH免密登录

        每台机器都需要设置自身及其它所有机器的免密登录，需要注意以下几点：

        （1）执行相关命令时不要一直执行“回车”确认，有时需要手动输入“yes”才可确认成功；

        （2）要确保相关文件及文件夹的所有者及权限一致且正确，否则不能SSH成功。

5、设置时间同步

        每台机器互相之间应设置时间同步，否则会搭建集群失败。

二、 安装配置JDK

三、安装Hadoop

1、Hadoop版本选择

        Hadoop的版本不一定要最新，要选稳定可用的版本，否则不能启动成功；且Hadoop的版本与后续其它组件的版本有对应关系。

2、配置文件的修改

        在设置修改Hadoop相关配置文件时，我们应注意以下几点：

        （1）设置相关端口时应注意不要发生端口占用及冲突，且Hadoop 3.X端口相比Hadoop 2.X端口已经更改；

        （2）HDFS文件副本数量可自定义，但要小于等于DataNode数；

        （3）配置资源分布时尽量不要使其都分布在一个节点上，因为它们都比较占资源。

3、设置环境变量

4、格式化HDFS文件系统

        如果有多次格式化文件系统，需将DataNode的数据存放目录的版本信息删除以便其保持一致，否则Hadoop会启动失败。

5、启动集群

        可一键启动所有进程，也可单独进行启动。

四、参考资料

大数据学习笔记：Hadoop3.3.0完全分布式集群安装