hadoop3入门(1)

hadoop是什么

1.海量数据存储

2.资源管理,调度和分配

3.并行数据处理

ip和主机名称配置

选择编辑

选择虚拟网络编辑器-》选择VMnet8

子网ip设置为：192.168.10.0 

 打开NAT设置-》输入网关ip:192.168.10.2 -》然后点击确定

找到vmnet8->查看其他属性

输入网关：192.168.10.2

首选DNS: 192.168.10.2

备选DNS: 8.8.8.8

打开虚拟机配置静态ip

vi /etc/sysconfig/network-scripts/ifcfg-ens33

配置下面箭头指向的4个地方

重启网络

service network restart 

修改主机名称为hadoop100

vi /etc/hostname

 配置ip 和主机名称的映射 

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108

 然后重启

reboot

然后关闭虚拟机防火墙

systemctl stop firewalld.service 

关闭windows防火墙 

在cmd输入，查看是否超时

ping hadoop100

ping 192.168.10.100

在opt目录下创建2个目录

mkdir module

mkdir software 

卸载自带的jdk 

rpm -qa|grep -i java|xargs -n1 rpm -e --nodeps

克隆3台虚拟机 

按照之前的配置,把ip和主机名改掉

192.168.102 hadoop102

192.168.103 hadoop103

192.168.104 hadoop104

克隆的时候要注意,每台机器的mac地址都是不一样的,要重新生成

102机器配置jdk

先把jdk1.8下载好，然后上传到/opt/software

然后把jdk解压到 /opt/module/

tar -zxvf jdk-8u231-linux-x64.tar.gz -C /opt/module/

配置环境变量

 vi /etc/profile

在最底下配置下面的信息

export JAVA_HOME=/opt/module/jdk1.8.0_231

使环境变量生效 

source /etc/profile

102机器安装hadoop

先在/opt/software目录下 下载安装包

wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz --no-check-certificate

然后把hadoop解压到 /opt/module/

tar -zxvf hadoop-3.3.6.tar.gz -C /opt/module/

配置环境变量 

vi /etc/profile

配置到最下面

export HADOOP_HOME=/opt/module/hadoop-3.3.6
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

 

使环境变量生效 

source /etc/profile

 输入命令查看是否安装成功

hadoop

出现下面的表示安装成功 

hadoop3入门(2)_我是一只代码狗的博客-CSDN博客