Hadoop的伪分布式安装

一、实验环境

  1. 操作系统:Linux
  2. 实验软件:VMware
  3. Hadoop版本:3.1.3
  4. JDK版本:1.8
    (注意:Hadoop3.1.3要求JDK版本在1.8及以上)

二、实验内容

a.准备工作

  1. 下载Hadoop
    注意:在虚拟机内的浏览器打开网址更方便
    Hadoop下载地址
    在这里插入图片描述
  2. 更新apt
sudo apt-get update

在这里插入图片描述
3. 安装vim编辑器

sudo apt-get install vim

在这里插入图片描述

b.安装ssh并设置免密登录

  1. 安装ssh
sudo apt-get install openssh-server

在这里插入图片描述
2. 登录(需要密码)

ssh localhost

在这里插入图片描述
3. 免密登录

exit        #退出
cd ~/.ssh/
ssh-keygen -t rsa
cat ./id_rsa.pub >> ./authorized_keys   #授权

ssh localhost    #无需密码

在这里插入图片描述
在这里插入图片描述

c.安装Java环境

  1. 在Ubuntu内的火狐浏览器打开默认下载到/home/Downloads/下 JDK下载官网网址
    注意:JDK版本需在1.8及以上在这里插入图片描述
  2. 在用户名为hadoop的用户下执行shell命令,若不是该用户则先创建一个hadoop用户
cd /usr/lib
sudo mkdir jvm  #用于存放JDK文件
cd ~/Downloads
sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm   #解压到指定目录

在这里插入图片描述
3. 配置环境变量

cd ~
vim ~/.bashrc
#进入.bashrc文件中添加如下内容
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

在这里插入图片描述

source ~/.bashrc  #使.bashrc文件的配置生效
java -version     #查看是否安装成功

在这里插入图片描述

d.Hadoop的伪分布式安装

  1. 解压Hadoop压缩包到指定路径
sudo tar -zxvf ~/Downloads/hadoop-3.1.3.tar.gz  -C /usr/local

在这里插入图片描述
2. 查看Hadoop版本并检查是否安装成功

cd /usr/local/
sudo mv ./hadoop-3.1.3/ ./hadoop # 将文件夹名改为hadoop
sudo chown -R hadoop ./hadoop   #修改文件权限
cd hadoop
./bin/hadoop version    #查看版本是否成功

在这里插入图片描述
3. 配置环境变量

vim ~/.bashrc
#添加如下内容
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
#保存并退出后使环境变量配置生效
source ~/.bashrc

在这里插入图片描述

  1. 修改core-site.xml配置文件
    注意:xml格式以name与value的形式实现
cd /usr/local/hadoop/etc/hadoop
vim core-site.xml

在这里插入图片描述

修改内容如下:

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

在这里插入图片描述

  1. 修改core-site.xml配置文件
    注意:xml格式以name与value的形式实现
cd /usr/local/hadoop/etc/hadoop
vim hdfs-site.xml

在这里插入图片描述

修改内容如下:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

在这里插入图片描述
6. NameNode格式化

cd /usr/local/hadoop
./bin/hdfs name -format

在这里插入图片描述
7. 开启namenode与datanode进程

cd /usr/local/hadoop
./sbin/start-dfs.sh

在这里插入图片描述
8. jps查看启动是否成功

jps

在这里插入图片描述
9. 关闭namenode与datanode进程

cd /usr/local/hadoop
./sbin/stop-dfs.sh

在这里插入图片描述

结束!希望对每一个奋斗的你有所帮助~
  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Clovers_ffzz

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值