在单节点集群上安装Hadoop和HDFS

最新推荐文章于 2022-09-13 16:12:35 发布

Yet again

最新推荐文章于 2022-09-13 16:12:35 发布

阅读量484

点赞数

分类专栏：操作系统 Ubuntu 大数据文章标签： linux

本文链接：https://blog.csdn.net/aiaias/article/details/121584437

版权

本文档详细介绍了如何在Linux Ubuntu系统上安装和配置Hadoop 2.7.3，包括准备条件、实验目的、实验原理和实验步骤。通过这个过程，读者将学习到Linux文件操作、vi编辑器使用、Java与Hadoop环境配置，并能掌握启动Hadoop、查看HDFS服务状态的方法。

摘要由CSDN通过智能技术生成

文章目录

一、准备条件

虚拟机VMWare
Linux系统 Ubuntu
Java JDK8
Hadoop 2.7.3

二、实验目的

回顾复习Linux 文件操作和vi编辑器使用方法
学会在Ubuntu系统中安装和配置Hadoop
掌握启动Hadoop和查看HDFS daemons服务状态的方法

三、实验原理

Linux系统下Java 运行和开发环境JDK的安装配置
在Java环境中安装和运行Hadoop

四、实验步骤

步骤1
在Ubuntu中下载Java 8 的tar文件jdk-8u101-linux-i586.tar.gz，保存在当前用户（home）目录下，在终端Terminal中用tar解压文件

命令 tar  -xvf  jdk-8u101-linux-x64.tar.gz

结果：
在这里插入图片描述

步骤2

在Linux中
wget https://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3.tar.gz
或迅雷下载后复制到Linux中，解压Hadoop安装文件到home路径下

命令：cd ~  tar -xvf  hadoop-2.7.3.tar.gz

结果：
在这里插入图片描述

步骤3
在bash文件(.bashrc) 中添加Java和Hadoop路径, 使用户可以直接访问java和hadoop

命令：
vi .bashrc
gedit .bashrc
按下图设置路径
export HADOOP_HOME=$HOME/hadoop-2.7.3
export HADOOP_CONF_DIR=$HOME/hadoop-2.7.3/etc/hadoop
export HADOOP_MAPRED_HOME=$HOME/hadoop-2.7.3
export HADOOP_COMMON_HOME=$HOME/hadoop-2.7.3
export HADOOP_HDFS_HOME=$HOME/hadoop-2.7.3
export YARN_HOME=$HOME/hadoop-2.7.3
export