Hadoop伪分布式搭建实验的详细操作步骤

(一)建立帐号及更新终端命令
1.1 创建hadoop用户
进入ubuntu系统,打开命令行终端;输入以下语句,创建一个名为hadoop的用户,useradd命令的-m用来指定用户名,-s用来指定用户登录时所需的shell文件:
sudo useradd -m hadoop -s /bin/bash
sudo是允许普通用户使用超级用户权限的工具。
useradd命令用来建立用户帐号和创建用户的起始目录。
useradd命令的-m用来指定用户名,创建用户主目录。
-s用来指定用户登录时所需的shell文件,并使用/bin/bash作为shell。
/bin/bash:使用/bin/bash作为shell。

由于部门权限规定或安全限制,负责部署hadoop的管理员没有linux root权限,但按照最佳做法,安装时有一些操作需要以root用户身份执行。以下给予该用户root权限:
sudo adduser hadoop sudo
为 hadoop 用户增加管理员权限,方便部署,避免遇到一些比较棘手的权限问题。
adduser创建新的用户帐号。

1.2 更新命令
参考https://blog.csdn.net/m0_37601622/article/details/82968780
如果发现更新速度过慢,或者更新时反复跳出连接超时的提示,则可以将源文件链接地址替换为国内镜像文件从而提高更新速度。首先先利用cp命令备份当前系统的源文件,其中第一个参数时拷贝的文件路径和文件名称,第二个是拷贝到的文件路径和文件名:
sudo cp /etc/apt/sources.list /etc/apt/sources.bak1
修改源文件:(将源文件链接地址替换为国内镜像文件)
sudo gedit /etc/apt/sources.list
gedit文本编辑器,编辑文件。
/etc/apt/sources.list :包管理工具 apt 所用的记录软件包仓库位置的配置文件

如清华源:参考https://mirrors.tuna.tsinghua.edu.cn/help/ubuntu/

将文件内容替换成清华源,替换完成后,保存,再运行更新命令:
sudo apt-get update
sudo apt-get upgrade
apt-get是下载安装软件包的简单命令行接口,update是更新软件列表,upgrade是更新软件

部分linux系统会自带vim编辑器,但若在终端无法启动该编辑器,则需要安装以待后续编辑配置文件,接下来跳出的若干提示回复yes与回车即可:
sudo apt-get install vim

(二)配置SSH
2.1 下载安装
根据Hadoop分布式系统的特性,在任务计划分发、心跳监测、任务管理、多租户管理等功能上,需要通过SSH(Secure Shell)进行通讯,所以必须安装配置SSH。另因为Hadoop没有提供SSH输入密码登录的形式,因此需要将所有机器配置为NameNode可以无密码登录的状态。
首先安装SSH server(之所以不需要安装SSH client是因为ubuntu已经默认安装了):
sudo apt-get install openssh-server
hadoop集群、单节点模式都需要用到 SSH 登陆(类似于远程登陆,你可以登录某台 Linux 主机,并且在上面运行命令)
apt-get是下载安装软件包的简单命令行接口
install:安装
openssh-server让远程主机可以通过网络访问sshd服务,开始一个安全shell。

安装后,可以使用如下命令连接本地SSH,按提示输入yes,再输入hadoop用户的密码,完成登录:
ssh localhost
ssh远程主机用户:客户端连接
localhost:本地主机,是给回路网络接口的一个标准主机名

2.2 设置无密码登录
因为Hadoop没有提供SS

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值