Hadoop集群搭建(简单版)

这里创建基本hadoop集群,配置三个节点,安装jdk,使其可以基本使用

一.Windows环境配置与linux配置

这里使用win11系统

(1).开始时检查电脑是否虚拟化,进入任务管理器,性能,查看CPU,查看是否虚拟化
快捷键 ctrl+shift+esc

(2).打开控制面板,在程序与功能,启动或关闭Windows功能中,查看是否选中虚拟机平台

(3)创建虚拟机,选择自定义,选择稍后安装操作系统,然后都默认,这里选择的是vm16,用的centos7

映像文件使用CentOS-7-x86_64-DVD-1908.iso

(4).配置网络,进入vm的编辑,虚拟网络编辑器,更改设置进入管理员模式
先不勾使用DHCP服务,进入nat设置,将网关ip最后一个数字默认设置为2,
如果需要使用DHCP,进入DHCP设置,两个ip末尾分别为128,与254

(5).进入控制面板,网络与共享,选择更改适配器,选择vmnet8修改设置

(6).安装linux

启动虚拟机,检查日期与时间是否正确

进入安装位置,选择手动分区,点击完成后,点击加号添加/boot挂载,设置内存200M,同时将文件系统改为ext4

同理设置swap,会有提示,设置4g,不需要改文件系统

最后添加/，不需要改内存,意味之后所有内存都给/,改文件系统为ext4

打开网卡

**点击安装,设置root密码,为sjw2003**

此时linux安装完成,这里没有安装图像化,是直接在控制台操作

二.修改linux配置文件,安装指定插件,完成基本节点配置

(1).修改配置

<1.进入/etc/sysconfig/network-scripts/
进入ifcfg-ens33文件
将BOOTPROTO改为static,ONBOOT改为yes(vim编辑器大家应该都会使用)

在ifcfg-ens33添加以下内容
IPADDR=192.168.204.70 //ipaddr最后不能为1,否则会冲突导致连接失败
NETMASK=255.255.255.0
GATEWAY=192.168.204.2
DNS1=8.8.8.8
修改完成后,重启虚拟机网络
service network restart
测试ping www.baidu.com

(2).网络连接配置

<1.查询ip地址命令
ip addr //查一下看看是不是你配置的

<2.NetworkManager服务

-- 关闭NetworkManager服务(只针对本次虚拟机运行时有效)  
service NetworkManager stop  
//用于有时突然不能ping通时

-- 禁用NetworkManager服务  
systemctl disable NetworkManager

-- 禁用之后 重启网络  
systemctl restart network
或
service network restart

(3).防火墙配置  //防止后续出问题

-- 查询防火墙的状态  
systemctl status firewalld.service

--关闭防火墙
systemctl stop firewalld.service

--禁用防火墙
systemctl disable firewalld.service

(4).修改yum源,用于国内快速下载(如果你有加速器可以不使用这个

centos7修改yum源为阿里源
首先是到yum源设置文件夹里
1. 查看yum源信息:
yum repolist
2. 定位到base reop源位置
cd /etc/yum.repos.d
4. 下载wget
yum install -y wget
5. 接着备份旧的配置文件
mv CentOS-Base.repo CentOS-Base.repo.bak
6. 下载阿里源的文件
wget -O CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
7.清理缓存
yum clean all
8.重新生成缓存
yum makecache
9. 再次查看yum源信息
yum repolist  

(11).安装必要的软件

yum install -y epel-release  
yum install -y net-tools  
yum install -y vim

(12).更新时区时间

1. 首先查看是不是东八区(我们这里是东八区
date -R

2. 删除自带的localtime
rm -rf /etc/localtime

3.  创建软链接到localtime 
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

4. 安装ntpdate
yum install -y ntpdate

5. 同步北京时间
ntpdate -u ntp.api.bz 
ntpdate ntp1.aliyun.com

(13).创建目录用于以后操作

mkdir /opt/install_packages   //这个目录以后用于存放压缩吧
mkdir /opt/softs  //这个目录用于存放解压后的插件

(14).安装jdk并配置环境变量

//这里使用的jdk1.8.0 linux版本tar压缩包,可以自己到官网下载

将下载的jdk拖入install_packages,解压到另一个文件softs,tar -zxvf 名  -C  路径
将文件改名为jdk1.8.0,方便访问

在etc/profile添加环境变量,加在最后

#java_home
export JAVA_HOME=/opt/softs/jdk1.8.0   #这里填你的jdk安装目录
export PATH=$PATH:$JAVA_HOME/bin

通过查看是否配置完成echo $JAVA_HOME,使用前需要用source /etc/profile重新加载环境变量

OK,第一个基本节点就完成了,之后就是安装hadoop,克隆,分为三个节点,修改ip地址配置

后面的内容也很多,直接看笔记吧,懒的搞了