Hadoop单机配置和伪分布式安装

本文档详细介绍了如何在Ubuntu 18.4系统上配置Hadoop的单机和伪分布式环境。从创建用户、安装OpenSSH和JDK开始,然后进行Hadoop的安装和配置。在单机配置中,通过grep例子展示了Hadoop的基本用法。伪分布式配置涉及修改core-site.xml和hdfs-site.xml配置文件,并成功启动NameNode和DataNode。最后,可以通过Web界面监控Hadoop集群状态。
摘要由CSDN通过智能技术生成
实验环境
  • ubuntu 18.4 1台
  • 内存4G 存储50G
  • 本次实验仅用于学习,体验hadoop使用。
    注意:实验中注意绝对路径。
准备实验环境
  • 装一台全新的ubuntu系统,修改apt-get源,网络模式选择nat模式做好基本准备。
sudo useradd -m hadoop -s /bin/bash 
sudo passwd hadoop
sudo adduser hadoop sudo
  1. 创建hadoop用户
  2. 修改已经创建好用户的密码
  3. 授予用户sudo的权限加入sudo组
安装Open-ssh
sudo apt-get update  ##更新apt 阿里云有apt配置为阿里云镜象的修改方法
sudo apt-get install vim ##安装vim方便后期修改配置文件
sudo apt-get install openssh-server
cd ~/.ssh/ 
ssh-keygen -t rsa				##自动加密,一直回车就好
cat ./id_rsa.pub >> ./authorized_keys     ##做免密登陆
  • 集群、单节点模式都需要用到 SSH 登陆(以登录某台 Linux 主机,并且在上面运行命令),Ubuntu 默认已安装了 SSH client,此外还需要安装 SSH server.
  • 最都得免密登陆成功
    在这里插入图片描述
安装JDK
  • 这里使用的是tar包,需要配置环境变量
  • 本次实验的所有安装包都在/software中
cd /usr/local/
sudo 
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值