hadoop集群搭建详细过程(完全分布式)

网上的Hadoop教程很多,但是都不是很详细,对入门选手不是很友好,因此自己再写了一份,做下记录。主要是ubuntu18+jdk8+hadoop2.7的环境配置,正常的操作步骤对其他版本的也是通用的。
摘要由CSDN通过智能技术生成

目录

 

一、准备

二、具体过程

1.三台虚拟机的初始设置

2.配置SSH免密登录

3.安装JDK

4.安装Hadoop

三、参考文章


一、准备

1.vmvare虚拟机工具

2.Ubuntu系统镜像

3.hadoop安装包(官网下载:https://hadoop.apache.org/releases.html,要适配机器就下载源码自己编译,否则下载已经编译的,会减少工作量)

4.Ubuntu下的jdk(官网下载:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

二、具体过程

1.三台虚拟机的初始设置

搭建分布式主要用三台虚拟机:master、slave1、slave2,可以先不进行克隆,等一台机器配置好后克隆再到相应的机器去修改。

(1)配置名称:

sudo gedit /etc/hostname

(重启后生效,可以用source /etc/hostname立即生效)

注:使用

hostname 机器名

只是临时起作用,重启后机器还是原先的名称

(2)配置IP

使用如下命令(使用sudoers是为了让用户获得修改权限):

sudo gedit /etc/hosts
192.168.78.151	master
192.168.78.152	slave1
192.168.78.153	slave2

上述是对应机器的IP,为了机器能找到集群中的其他机器,这的IP的子网地址不能随便写必须先打开你的vmvare查看自己的网卡的子网网段和子网网关后设置本机IP:

接着打开NAT设置查看网关地址,然后打开机器的网络设置(没有图形界面的只能百度怎么用命令行改本机IP了),更改本机的IP地址:

点击设置按钮后出现下图界面,切换到IPv4的选项卡,按照图片设置(这的IP需要你根据自己vmvare的IP去设置,不然会出现上不了网的情况),重启后IP更新。

  • 2
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值