Linux环境下Hadoop开发环境的安装(超级无敌详细)

安装Linux(如果之前已经有Linux,不用安装,直接安装Hadoop)
参考链接:厦门大学Hadoop安装教程_单机/伪分布式配置

1尝试新建一个名为hadoop的用户并且设置密码(同时添加管理员权限):

在这里插入图片描述

但是在刚开始就遇到了问题:由于我们下载的Hadoop和jdk在Windows下下载的,将文件共享进ubuntu时,只能共享到第一个创建的用户(我也不知道为什么),而且ubuntu下网络很慢,所以,我就没有创建新的用户,在原有的用户上进行的安装(后面运行成功证实是可以的)。

2.更新apt,下载vim

在这里插入图片描述

3.安装SSH、配置SSH无密码登陆:(提示(SSH首次登陆提示),输入 yes 。然后按提示输入密码 hadoop,这样就登陆到本机了)

在这里插入图片描述

4.安装jdk(在Linux命令行界面中,执行如下Shell命令):

在这里插入图片描述

解压过程:
在这里插入图片描述

JDK文件解压缩以后,可以执行如下命令到/usr/lib/jvm目录查看一下:
在这里插入图片描述
继续执行如下命令,设置环境变量:
在这里插入图片描述
面命令使用vim编辑器打开了hadoop这个用户的环境变量配置文件,在这个文件的开头位置,添加如下几行内容(注意自己的jdk 版本号):
在这里插入图片描述

5.安装hadoop3.2.1(Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用,成功则会显示 Hadoop 版本信息):

在这里插入图片描述

总体的命令:
在这里插入图片描述

6.Hadoop单机配置(非分布式):(Hadoop 默认模式为非分布式模式(本地模式),无需进行其他配置即可运行)

运行例子:
在这里插入图片描述

在此我们选择运行 grep 例子,我们将 input 文件夹中的所有文件作为输入,筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数,最后输出结果到 output 文件夹中
在这里插入图片描述
最后的结果与教程相符合:
在这里插入图片描述
将 ./output 删除
在这里插入图片描述

7. Hadoop伪分布式配置

修改配置文件 core-site.xml (通过 gedit 编辑会比较方便: gedit ./etc/hadoop/core-site.xml),
在这里插入图片描述
修改为:
在这里插入图片描述
同样的,修改配置文件 hdfs-site.xml:
在这里插入图片描述
配置完成后,执行 NameNode 的格式化:
在这里插入图片描述
开启 NameNode 和 DataNode 守护进程:
在这里插入图片描述
还好没有教程中的错误:
在这里插入图片描述
在这里插入图片描述
网页面中打开9870端口:
在这里插入图片描述
到这里表明已经成功!

四、 实验中遇到的问题和解决办法,总结

问题一:Ubuntu和Windows之间的文件传输,拖拽,共享粘贴板。
解决办法:安装VBox的增强功能,以及设置如下的地方(自行百度):
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
问题二:新用户下,不能拖拽文件(就算是管理员也不行)
没有解决,因此没有在新用户hadoop下安装,但是最后仍然是成功的

  • 0
    点赞
  • 32
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值