基于Hadoop2.6.5单机搭建HDFS(伪分布式模式)

目录

1. 前置准备

1.1 环境说明

1.2 网络配置

1.3 主机名及IP映射

1.4 关闭防火墙

1.5 安装JDK

1.6 配置SSH免密登录本机

2、Hadoop搭建

2.1 上传解压

2.2 添加环境变量

2.3 修改Hadoop配置

3、初始化启动

3.1 初始化NameNode

3.2 启动

3.3 验证结果

3.4 测试使用

---

以下部署方案均来自官方文档：Hadoop-2.6.5单机部署文档

1. 前置准备

1.1 环境说明

操作系统：CentOS 8 Windows下搭建虚拟机

Hadoop版本：2.6.5 官网下载

JDK版本：1.8

1.2 网络配置

CentOS 8配置网络服务

1.3 主机名及IP映射

vi /etc/hosts

添加一行记录，IP 别名

1.4 关闭防火墙

service firewalld stop
chkconfig firewalld off

1.5 安装JDK

CentOS 8配置Java环境

1.6 配置SSH免密登录本机

CentOS 8配置SSH免密登录

2、Hadoop搭建

2.1 上传解压

创建目录，并将前置准备中下载的压缩包hadoop-2.6.5.tar.gz上传至该目录下

mkdir /opt/bigdata

进入该目录，解压hadoop-2.6.5.tar.gz

cd /opt/bigdata
tar xf hadoop-2.6.5.tar.gz

2.2 添加环境变量

打开环境变量文本文件

vi /etc/profile

添加hadoop环境变量，PATH变量使用追加方式，不要覆盖原有变量

export HADOOP_HOME=/opt/bigdata/hadoop-2.6.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

重新加载环境变量

source /etc/profile

2.3 修改Hadoop配置

进入Hadoop配置文件目录，Hadoop相关配置都在此目录下

cd $HADOOP_HOME/etc/hadoop

指定Java路径，由于Hadoop通常在多机环境中运行，因此Hadoop原本直接读取系统环境变量方式会有问题，保险起见此处手动指定为/etc/profile中的Java路径

vi hadoop-env.sh

由于我们是单机部署，因此NameNode、SecondaryNode、DataNode都部署在node01中。

指定NameNode启动地址

vi core-site.xml

指定副本数、等相关配置项，具体配置项说明参考官网，hdfs-default配置项说明

vi hdfs-site.xml

指定DataNode启动位置

vi slaves

3、初始化启动

3.1 初始化NameNode

hdfs namenode -format

进入该目录发现已经自动生成相关文件，

3.2 启动

start-dfs.sh

由于之前配置过SSH免密登录，因此启动只需要输入yes，否则会要求输入登录密码

3.3 验证结果

使用同一局域网内windows系统主机访问NameNode后台，http://NameNode主机IP:50070

显示如下页面代表启动成功

3.4 测试使用

创建目录

hdfs dfs -mkdir /bigdata

在该标签页中即可看到