Linux下基于Pseudo-Distributed的Hadoop环境搭建

本文详细介绍了如何在Linux Ubuntu系统中搭建Hadoop的伪分布式环境,包括创建hadoop用户、安装SSH和配置无密码登录、安装jdk1.8、安装hadoop-3.2.0,以及关键的伪分布式配置步骤,如配置hadoop-env.sh、core-site.xml、hdfs-site.xml等文件,最后进行了NameNode的格式化和启动进程的检查。在遇到SSH登录问题时,提供了相应的解决办法。
摘要由CSDN通过智能技术生成

       近期学习云计算课程,需要基于linux操作系统搭建伪分布式hadoop环境,主要参考文章,但其中存在部分问题,经修改后搭建过程整理如下。

1.创建hadoop用户

$ sudo useradd -m hadoop -s /bin/bash  #创建hadoop用户,并使用/bin/bash作为shell
$ sudo passwd hadoop                   #为hadoop用户设置密码,之后需要连续输入两次密码
$ sudo adduser hadoop sudo             #为hadoop用户增加管理员权限
$ su - hadoop                          #切换当前用户为用户hadoop
$ sudo apt-get update                  #更新hadoop用户的apt,方便后面的安装

2.安装SSH,设置SSH无密码登陆

$ sudo apt-get install openssh-server   #安装SSH server
$ ssh localhost                         #登陆SSH,命令测试一下 SSH 是否可用,第一次登陆输入yes
$ exit                                 
$ cd ~/.ssh/                            #如果没法进入该目录,执行一次ssh localhost
$ ssh-keygen -t rsa                    #使用ssh-keygen生成私钥和公钥

接下来会提示一次输入key保存位置和两次输入私钥密码,若不修改,直接回车三次即可。

然后加入授权:

$ cat ./id_rsa.pub >> ./authorized_keys #加入授权
$ ssh localhost                         #此时已不需密码即可登录localhost

3.安装jdk1.8

oracle官

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值