Hadoop 教程 - Hadoop的安装和部署

Hadoop的安装和部署流程相对直接，但涉及多个步骤，主要包括环境准备、软件安装、配置调整以及服务启动等。下面是一个基本的安装和部署指南，主要针对Linux环境下的伪分布式模式安装，这是学习和测试Hadoop的理想起点。伪分布式模式意味着所有的Hadoop守护进程将在同一台机器上运行，但它们会模拟分布式环境的行为。

环境准备

1. 操作系统：确保你有Linux环境（如Ubuntu、CentOS等）。虽然Hadoop可以在Windows上运行，但Linux更常用。
2. Java安装：Hadoop需要Java运行环境，通常推荐使用Oracle JDK 8或OpenJDK 8及以上的版本。安装完成后，设置JAVA_HOME环境变量。
3. SSH设置：配置无密码SSH登录，因为Hadoop的各个守护进程间需要通过SSH通信。

下载和解压Hadoop

1. 下载Hadoop：访问Apache Hadoop官方网站的下载页面，选择一个稳定版本的二进制发行版下载。
2. 解压Hadoop：将下载的tar.gz文件解压到你希望安装的目录，例如/usr/local/hadoop。

配置Hadoop

1. 编辑环境变量：编辑~/.bashrc或~/.bash_profile文件，添加Hadoop的安装路径到PATH环境变量中，并设置HADOOP_HOME。

   export HADOOP_HOME=/usr/local/hadoop
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
   

2. 配置Hadoop核心-site.xml：在$HADOOP_HOME/etc/hadoop目录下，编辑core-site.xml，配置HDFS和MapReduce的默认文件系统等基本信息。

   <configuration>
     <property>
       <name>fs.defaultFS</name>
       <value>hdfs://localhost:9000</value>
     </property>
     <!-- 其他配置 -->
   </configuration>
   

3. 配置HDFS-site.xml：同样在同一个目录下，编辑hdfs-site.xml，设置副本数等参数。

   <configuration>
     <property>
       <name>dfs.replication</name>
       <value>1</value> <!-- 在伪分布式模式下，设置为1 -->
     </property>
     <!-- 其他配置 -->
   </configuration>
   

格式化NameNode

首次安装后，需要格式化NameNode，执行以下命令：

hadoop namenode -format

启动Hadoop

执行以下命令启动Hadoop的所有守护进程：

sbin/start-dfs.sh
sbin/start-yarn.sh

验证安装

检查Hadoop服务是否成功启动，可以通过访问Web UI（如NameNode的Web UI通常是http://localhost:50070）来验证。

注意事项

• 在安装过程中，确保遵循官方文档或教程的具体版本要求，因为不同版本的配置可能有所差异。
• 如果遇到权限问题，确保正确设置了Hadoop目录的权限。
• 对于生产环境，考虑使用完全分布式模式，并且配置高可用性设置。

以上是Hadoop在Linux上伪分布式模式的基本安装和部署流程。根据实际需求，还可以进一步深入学习如何配置YARN、Hive、HBase等其他Hadoop生态系统组件。