基于Hadoop2.6.5单机搭建HDFS(伪分布式模式)

目录

1. 前置准备

1.1 环境说明

1.2 网络配置

1.3 主机名及IP映射

1.4 关闭防火墙

1.5 安装JDK

1.6 配置SSH免密登录本机

2、Hadoop搭建

2.1 上传解压

2.2 添加环境变量

2.3 修改Hadoop配置

3、初始化启动

3.1 初始化NameNode

3.2 启动

3.3 验证结果

3.4 测试使用


以下部署方案均来自官方文档:Hadoop-2.6.5单机部署文档

1. 前置准备

1.1 环境说明

操作系统:CentOS 8 Windows下搭建虚拟机

Hadoop版本:2.6.5 官网下载

JDK版本:1.8

1.2 网络配置

CentOS 8配置网络服务

1.3 主机名及IP映射

vi /etc/hosts

添加一行记录,IP 别名

1.4 关闭防火墙

service firewalld stop
chkconfig firewalld off

1.5 安装JDK

CentOS 8配置Java环境

1.6 配置SSH免密登录本机

CentOS 8配置SSH免密登录

2、Hadoop搭建

2.1 上传解压

创建目录,并将前置准备中下载的压缩包hadoop-2.6.5.tar.gz上传至该目录下

mkdir /opt/bigdata

进入该目录,解压hadoop-2.6.5.tar.gz

cd /opt/bigdata
tar xf hadoop-2.6.5.tar.gz

2.2 添加环境变量

打开环境变量文本文件

vi /etc/profile

添加hadoop环境变量,PATH变量使用追加方式,不要覆盖原有变量

export HADOOP_HOME=/opt/bigdata/hadoop-2.6.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

重新加载环境变量

source /etc/profile

2.3 修改Hadoop配置

进入Hadoop配置文件目录,Hadoop相关配置都在此目录下

cd $HADOOP_HOME/etc/hadoop

指定Java路径,由于Hadoop通常在多机环境中运行,因此Hadoop原本直接读取系统环境变量方式会有问题,保险起见此处手动指定为/etc/profile中的Java路径

vi hadoop-env.sh

由于我们是单机部署,因此NameNode、SecondaryNode、DataNode都部署在node01中。

指定NameNode启动地址

vi core-site.xml

指定副本数、等相关配置项,具体配置项说明参考官网,hdfs-default配置项说明

vi hdfs-site.xml

指定DataNode启动位置

vi slaves

3、初始化启动

3.1 初始化NameNode

hdfs namenode -format

进入该目录发现已经自动生成相关文件,

3.2 启动

start-dfs.sh

由于之前配置过SSH免密登录,因此启动只需要输入yes,否则会要求输入登录密码

3.3 验证结果

使用同一局域网内windows系统主机访问NameNode后台,http://NameNode主机IP:50070

显示如下页面代表启动成功

3.4 测试使用

创建目录

hdfs dfs -mkdir /bigdata

在该标签页中即可看到

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值