hadoop安装与配置

Hadoop的安装与配置是一个相对复杂但结构化的过程，主要涉及环境准备、软件安装、配置调整以及集群启动等多个步骤。以下是一个详细的Hadoop安装与配置指南：

一、环境准备
硬件与软件要求
硬件：Hadoop集群至少需要两台计算机，一台作为主节点（NameNode和ResourceManager），其余作为从节点（DataNode和NodeManager）。根据集群规模和数据量，合理配置CPU、内存和存储资源。
软件：确保所有节点上都安装了Linux操作系统（如CentOS、Ubuntu等），并且安装了Java JDK（Hadoop 3.x版本通常要求JDK 1.8及以上）。
网络配置
为每个节点分配固定的IP地址，并确保节点间网络互通。
配置hosts文件，将节点的主机名与IP地址进行绑定。
用户与权限
创建一个专门的用户（如hadoop用户）来运行Hadoop服务，避免使用root用户。
为该用户配置sudo权限，以便执行需要较高权限的操作。
关闭防火墙与SELinux
在所有节点上关闭防火墙和SELinux，以避免它们干扰Hadoop的正常运行。
二、Hadoop安装
下载Hadoop安装包
从Apache Hadoop官网下载对应版本的Hadoop安装包。建议选择稳定版本，如Hadoop 3.x系列。
解压安装包
将下载的Hadoop安装包解压到指定目录，如/usr/local/hadoop。
配置环境变量
在所有节点的/etc/profile或用户的~/.bashrc文件中配置Hadoop的环境变量，包括HADOOP_HOME和PATH。
三、Hadoop配置
配置Hadoop核心文件
core-site.xml：设置Hadoop的全局配置，如HDFS的地址和端口号。
hdfs-site.xml：配置HDFS的具体参数，如数据块的副本数、NameNode和DataNode的存储路径等。
mapred-site.xml（如果使用的是MapReduce 1.x）：配置MapReduce作业的相关参数。如果使用YARN，则该文件可能名为mapred-site.xml.template，需要重命名并配置。
yarn-site.xml：配置YARN的资源管理和调度器参数。
配置masters和slaves文件
在$HADOOP_HOME/etc/hadoop目录下创建或编辑masters和slaves文件。masters文件指定主节点的主机名，slaves文件指定从节点的主机名。
配置SSH免密登录
在主节点上生成SSH密钥对，并将公钥分发到所有节点（包括主节点自身），以实现SSH免密登录。
四、Hadoop集群启动
格式化HDFS
在主节点上运行hdfs namenode -format命令来初始化HDFS的名称节点。注意，该操作在HDFS首次使用时执行一次即可，之后不需要重复执行。
启动Hadoop集群
在主节点上运行start-dfs.sh脚本来启动HDFS服务。
运行start-yarn.sh脚本来启动YARN服务。
验证集群状态
使用jps命令查看各节点上运行的Java进程，确保NameNode、DataNode、ResourceManager、NodeManager等关键进程已正常启动。
访问Hadoop的Web UI（如NameNode的Web UI通常位于http://主节点IP:50070），查看集群的详细状态信息。
五、注意事项
在进行Hadoop安装与配置时，务必按照官方文档或可靠教程的步骤进行操作，避免遗漏或错误配置。
定期检查Hadoop集群的日志文件和性能指标，及时发现并解决问题。
根据实际需求调整Hadoop的配置参数，以优化集群的性能和稳定性。