###
CentOS 7 Hadoop伪分布式安装教程
在
CentOS 7上
安装Hadoop伪分布式环境，需要完成以下几个关键步骤：配置Java开发环境、下载并解压
Hadoop安装包、配置
Hadoop相关文件以及启动
Hadoop服务。以下是详细的
安装步骤：
#### 1
. 配置Java开发环境
Hadoop依赖于Java运行时环境（JRE）或Java开发工具包（JDK）。首先需要
安装JDK，并确保其正确配置。
- 使用以下命令
安装OpenJDK：
```bash
sudo yum install java-1
.8
.0-openjdk-devel
```
- 检查Java是否
安装成功：
```bash
java -version
```
如果输出显示Java版本信息，则说明
安装成功[^
3]。
- 配置环境变量，在`/etc/profile`文件中添加以下内容：
```bash
export JAVA_HOME=/usr/lib/jvm/java-1
.8
.0-openjdk
export PATH=$JAVA_HOME/bin:$PATH
```
使配置生效：
```bash
source /etc/profile
```
####
2. 下载并解压
Hadoop安装包
从Apache官网下载
Hadoop安装包，并将其解压到指定目录。
- 创建
安装目录：
```bash
mkdir -p /opt/soft
cd /opt/soft
```
- 下载
Hadoop安装包（以
Hadoop 2.7.7为例）：
```bash
wget https://archive
.apache
.org/dist/
hadoop/common/
hadoop-
2.7.7/
hadoop-
2.7.7.tar
.gz
```
- 解压
安装包：
```bash
tar -zxvf
hadoop-
2.7.7.tar
.gz -C
../app/
```
- 重命名解压后的文件夹以便后续操作：
```bash
cd
../app
mv
hadoop-
2.7.7 hadoop
```
####
3. 配置
Hadoop环境变量
为了方便使用
Hadoop命令，需要将其加入系统环境变量。
- 编辑`/etc/profile`文件，添加以下内容：
```bash
export
HADOOP_HOME=/opt/app/
hadoop
export PATH=$PATH:$
HADOOP_HOME/bin:$
HADOOP_HOME/sbin
```
- 使配置生效：
```bash
source /etc/profile
```
#### 4
. 修改
Hadoop配置文件
Hadoop的
伪分布式模式需要修改几个重要的配置文件，包括`core-site
.xml`、`hdfs-site
.xml`、`mapred-site
.xml`和`yarn-site
.xml`。
- 进入
Hadoop配置目录：
```bash
cd /opt/app/
hadoop/etc/
hadoop/
```
- **core-site
.xml**：配置HDFS的默认存储路径。
```xml
<configuration>
<property>
<name>fs
.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
```
- **hdfs-site
.xml**：配置HDFS的副本数量。
```xml
<configuration>
<property>
<name>dfs
.replication</name>
<value>1</value>
</property>
</configuration>
```
- **mapred-site
.xml**：配置MapReduce框架为YARN。
```xml
<configuration>
<property>
<name>mapreduce
.framework
.name</name>
<value>yarn</value>
</property>
</configuration>
```
- **yarn-site
.xml**：配置YARN的相关参数。
```xml
<configuration>
<property>
<name>yarn
.nodemanager
.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
```
#### 5
. 格式化HDFS
在启动
Hadoop之前，需要对HDFS进行格式化。
- 执行以下命令：
```bash
hdfs namenode -format
```
#### 6
. 启动
Hadoop服务
启动
Hadoop伪分布式环境的服务。
- 启动HDFS：
```bash
start-dfs
.sh
```
- 启动YARN：
```bash
start-yarn
.sh
```
- 验证服务是否启动成功：
```bash
jps
```
应该能看到以下进程：`NameNode`、`DataNode`、`ResourceManager` 和 `NodeManager`[^
2]。
####
7. 测试
Hadoop伪分布式环境
可以通过执行一个简单的WordCount程序来测试
Hadoop伪分布式环境是否正常工作。
- 创建输入文件并上传到HDFS：
```bash
echo "Hello
Hadoop" > input
.txt
hdfs dfs -mkdir /input
hdfs dfs -put input
.txt /input
```
- 执行WordCount示例程序：
```bash
hadoop jar /opt/app/
hadoop/share/
hadoop/mapreduce/
hadoop-mapreduce-examples-
2.7.7.jar wordcount /input /output
```
- 查看输出结果：
```bash
hdfs dfs -cat /output/part-r-00000
```
---
### 注意事项
- 确保防火墙不会阻止
Hadoop服务的端口（如9000、500
70等）。
- 如果遇到权限问题，可以尝试将
Hadoop目录的所有权赋予当前用户：
```bash
chown -R $USER:$USER /opt/app/
hadoop
```
---
超级会员免费看
本文详细介绍了在Centos 7中如何进行Hadoop的伪分布式安装，包括添加root用户、更改主机名、配置IP映射、安装jdk、安装hadoop、配置环境变量以及相关配置文件，最后启动并测试Hadoop进程。
订阅专栏 解锁全文
扫一扫
519
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
