hadoop2.8.4集群在centos7中安装

本文详细介绍了如何在CentOS7系统中使用virtual box搭建Hadoop2.8.4集群,包括虚拟机的安装、网络配置、JDK和Hadoop的安装、SSH免密登陆设置以及Hadoop环境变量配置和测试。
摘要由CSDN通过智能技术生成

一、virtual box中安装centos7系统

1、 virtual box 下载安装,下载centos

在Oracle Virtual box 官网下载(https://virtualbox.org/wiki/Downloads),根据提示,安装好virtual box,下载Centos(https://www.centos.org/download)

2、 创建虚拟机

打开virtualbox,新建虚拟机,选择Linux64位
创建虚拟机
很多人说centos好像不是redhat的版本。首先选择这个安装不会出问题,也可以选择Other Linux 安装;其次Centos确实是基于redhat开源代码编译来的,所以也没有问题。

3、 虚拟机参数设置:

根据virtualbox的提示,设置虚拟机内存为1Gb,创新新的虚拟硬盘,硬盘类型选择默认的VDI就好,存储方式选择动态分配,硬盘大小根据自己需求设定,我设置的是8GB。

4、 启动虚拟机

选择centos的ISO镜像,开始系统安装,建议选择英文界面,中文后期使用不是特别友好。

5、 注意事项:

安装过程中,安装位置系统会自动标警号,如下,只需要点击进去然后选择默认,点击完成即可,root用户密码最好设置以下,是否新建用户,可以根据自己需要确定。本文后续均是在root用户下开展活动。注意叹号

二、centos虚拟机网络配置

为了达到虚拟机和宿主机之间通信,需要对其网络进行配置。

1、 virtual box配置

选择桥接网络的链接方式,界面名称其实网卡名称,选择宿主机上网的网卡
网卡链接方式
2、 宿主机网络配置:在virtualbox安装的时候,在宿主机会生成一个虚拟网络,一般名字叫做Virtual Box Host_only.修改该网卡的地址,使其和宿主一个网段,网关和宿主机一个网关,如下分别是宿主机网络配置,和虚拟网卡配置。
宿主机IP
虚拟网卡设置
3、 Centos配置,包括ip配置和网关设置

#Ip设置
vim /etc/sysconfig/network-scripts/ifcfg-enp0s3
BROWSER_ONLY=no
BOOTPROTO=dhcp
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=enp0s3
UUID=9c570426-1755-43eb-96cc-e60552b7281e
DEVICE=enp0s3
ONBOOT=yes
IPADDR=192.168.1.70

#网关配置
vim /etc/sysconfig/network
# Created by anaconda
GATEWAT=192.168.1.73

三、centos虚拟机jdk和Hadoop安装

1、 jdk下载和hadoop下载

宿主机下载jdk,官网地址https://www.oracle.com/technetwork/java/javase/downloads/index.html

宿主机下载hadoop2.8.4,官网地址http://hadoop.apache.org/

2、 安装包上传虚拟机:

安装好后的虚拟机是没有界面的,virtual box的共享文件夹功能也不好使,当初研究了很久mount,也没有成功。所以使用Secure Fx把安装包上传到虚拟机/opt目录下,给一个SecureCRT&FX的破解版,仅供学习使用,网盘地址:https://pan.baidu.com/s/1b_Jyt1FE5cvYQdyKG6vdxQ
提取码:rsti
在这里插入图片描述

3、 将jdk和hadoop分别解压缩到/opt下,如上图所示:

tar -xvf  jdk/hadoop.gz

4、 虚拟机环境变量设置

#Jdk环境变量设置
vim /etc/profile
#在末尾追加
export JAVA_HOME=/opt/java/jdk1.8.0_191
export  CLASSPATH=$:CLASSPATH:$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin

#Hadoop:新建所需要的文件夹
mkdir  /root/hadoop  
mkdir  /root/hadoop/tmp  
mkdir  /root/hadoop/var  
mkdir  /root/hadoop/dfs  
mkdir /root/hadoop/dfs/name  
mkdir /root/hadoop/dfs/data  

四、centos复制镜像与免ssh密码登陆

1、 centos复制镜像

Hadoop集群是在三台虚拟机上进行安装,前期共性的设置已经结束,此时可以使用virtual box设置一个快照,以用于备份,并且使用复制的功能生成2个镜像副本。

复制的时候,选择重新初始化网卡Mac地址,使用链接复制&#x

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值