虚拟机Ubuntu18.04下安装Hadoop环境以及测试本地以及伪分布式

本文详细介绍了在虚拟机Ubuntu18.04环境下,如何创建hadoop用户,安装Java、SSH,配置SSH无密码登录,以及安装和配置Hadoop3.1.3进行本地和伪分布式运行。通过执行grep示例验证Hadoop安装成功,并给出关闭和下次启动的步骤。关键操作包括环境变量设置、HDFS配置及NameNode和DataNode的启动。
摘要由CSDN通过智能技术生成

虚拟机Ubuntu18.04下安装Hadoop环境以及测试本地以及伪分布式

ps:流程参考厦门大学数据实验室安装流程
本文更多的是为了自己之后好复习以及比较喜欢浏览csdn的小伙伴的文章,是自己电脑实际的操作流程总结。

准备工作:

虚拟机安装Ubuntu18.04版本 、 以及正常的网络连接

开始实际操作:

1 创建hadoop用户

为了实际上方便操作以及和教程流程中文件名,路径等一致,首先创建一个用户名为hadoop的用户,打开shell界面之后使用命令:

$ sudo useradd -m hadoop -s /bin/bash

之后会提示输入密码,那如果是之前没有使用过Linux环境的需要注意密码输入是默认屏幕不显示的,所以不要认为是输入错误,继续输入就好了,按照提示输入两次密码即可。为该用户设置密码命令:

$ sudo passwd hadoop

之后为了避免后边操作时比较麻烦的权限问题为这个新用户设置权限使用命令:

$ sudo adduser hadoop sudo

然后我们的新用户就创建好了,我们可以退出然后登陆进我们刚刚创建好的hadoop用户中,我安装的ubuntu18.04与windows十分相似,在开始菜单注销当前用户然后登陆新建hadoop用户就好了,如果实在找不见可以关闭虚拟机再开启同样可以在最开始界面找到新建的hadoop用户,然后点击登录就好了。不过以防万一登录后以防万一还是先更新一下apt,以保证apt版本的最新,来安装其他东西的时候报一些奇怪的错误:

$ sudo apt-get update

2 安装vim,gedit,SSH,配置SSH的无密码登录

首先安装vim和gedit,vim是一个比较常用的Linux下边的文本编辑的东西,我们在之后去修改一些文件的配置项,修改文本文件的时候会比较方便,gedit的话与vim功能类似,风格更接近windows,可以使用鼠标进行选中之类的操作,而vim则一般是用键盘和命令去进入编辑界面,个人感觉vim更偏向于Linux的风格,两者优劣我也不是很清楚。安装命令:
安装vim:

$ sudo apt-get install vim

安装gedit:

$ sudo apt-get install gir1.2-zeitgeist-2.0
#然后:
$ sudo apt-get install gedit-plugins

安装SSH,实例中解释为“SSH 登陆(类似于远程登陆,你可以登录某台 Linux 主机,并且在上面运行命令)”,而Ubuntu默认已安装 SSH client,所以我们只需要安装SSH server即可:

  • 2
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值