Hadoop安装与环境配置

Hadoop安装与环境配置

一、任务概述

1.虚拟机的安装vmware/virtual box。
2.在虚拟机上安装ubuntu 。
3.安装配置linux环境,创建用户与权限设置。
4.安装JDK
5.安装Hadoop2.0 运行测试例子


二、实验目的

1.掌握虚拟机上安装ubuntu6.0。
2.熟悉linux的基本操作。
3.熟悉hadoop开发环境的安装与测试。

三、实验过程详细描述

创建新用户:
在这里插入图片描述

使用如下命令设置密码,可简单设置为 hadoop,按提示输入两次密码:
(原密码为1,现在改为123)
在这里插入图片描述

为 hadoop 用户增加管理员权限,方便部署:
在这里插入图片描述

更新apt:
在这里插入图片描述
在这里插入图片描述

更改一些配置文件:
在这里插入图片描述

在这里插入图片描述

安装SSH、配置SSH无密码登陆:
在这里插入图片描述

登陆本机:

在这里插入图片描述

退出刚才的 ssh,就回到了我们原先的终端窗口,然后利用 ssh-keygen 生成密钥,并将密钥加入到授权中:

在这里插入图片描述

加入授权:

在这里插入图片描述
在这里插入图片描述

安装JDK:
在这里插入图片描述

移动jdk到下载文件下面:

sudo mkdir jvm #创建/usr/lib/jvm目录用来存放JDK文件:
在这里插入图片描述

sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm #把JDK文件解压到/usr/lib/jvm目录下:
在这里插入图片描述
在这里插入图片描述

JDK文件解压缩以后,可以执行如下命令到/usr/lib/jvm目录查看一下:

在这里插入图片描述

设置环境变量:
在这里插入图片描述

输入java -version,检查是否安装成功:
在这里插入图片描述

安装Hadoop 2:
将 Hadoop 安装至 /usr/local/ 中:
在这里插入图片描述

将文件夹名改为hadoop,修改文件权限:
在这里插入图片描述

在这里插入图片描述

检测是否成功,即输入检查版本的信息:
在这里插入图片描述

Hadoop单机配置(非分布式):

运行 grep 例子,我们将 input 文件夹中的所有文件作为输入,筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数,最后输出结果到 output 文件夹中:
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

Hadoop 默认不会覆盖结果文件,因此再次运行上面实例会提示出错,需要先将 ./output 删除。
在这里插入图片描述

Hadoop伪分布式配置:
修改配置文件 core-site.xml (通过 gedit 编辑会比较方便: gedit ./etc/hadoop/core-site.xml):
在这里插入图片描述

修改配置文件 hdfs-site.xml:

在这里插入图片描述

配置完成后,执行 NameNode 的格式化:
在这里插入图片描述
在这里插入图片描述

开启 NameNode 和 DataNode 守护进程:

在这里插入图片描述

启动完成后,可以通过命令 jps 来判断是否成功启动,若成功启动则会列出如下进程: “NameNode”、”DataNode” 和 “SecondaryNameNode”:
在这里插入图片描述

成功启动后,可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息,还可以在线查看 HDFS 中的文件。

运行Hadoop伪分布式实例
上面的单机模式,grep 例子读取的是本地数据,伪分布式读取的则是 HDFS 上的数据。要使用 HDFS,首先需要在 HDFS 中创建用户目录:

接着将 ./etc/hadoop 中的 xml 文件作为输入文件复制到分布式文件系统中,即将 /usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的 /user/hadoop/input 中。我们使用的是 hadoop 用户,并且已创建相应的用户目录 /user/hadoop ,因此在命令中就可以使用相对路径如 input,其对应的绝对路径就是 /user/hadoop/input:

复制完成后,可以通过如下命令查看文件列表:
在这里插入图片描述

伪分布式运行 MapReduce 作业的方式跟单机模式相同,区别在于伪分布式读取的是HDFS中的文件(可以将单机步骤中创建的本地 input 文件夹,输出结果 output 文件夹都删掉来验证这一点)。
结果如下,注意到刚才我们已经更改了配置文件,所以运行结果不同。

在这里插入图片描述

我们也可以将运行结果取回到本地:
在这里插入图片描述

Hadoop 运行程序时,输出目录不能存在,否则会提示错误 “org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:9000/user/hadoop/output already exists” ,因此若要再次执行,需要执行如下命令删除 output 文件夹:
在这里插入图片描述

要关闭 Hadoop,则运行:
在这里插入图片描述

YARN
修改配置文件 mapred-site.xml,这边需要先进行重命名:
在这里插入图片描述
在这里插入图片描述

然后就可以启动 YARN 了:
在这里插入图片描述
在这里插入图片描述

开启后通过 jps 查看,可以看到多了 NodeManager 和 ResourceManager 两个后台进程,如下图所示。
在这里插入图片描述

关闭 YARN 的脚本如下:
在这里插入图片描述

  • 1
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值