一、创建Linux最小系统
1、安装最小系统
2、修改虚拟机的虚拟网络编辑器,网段改为192.168.200.0
网关为192.168.200.2
3、在windows的命令提示符下输入ipconfig查看是否有192.168.200.1的以太网适配器 VMware Network Adapter VMnet8
二、改主机名
1、使用nmtui图形化工具配置
2、命令行配置
hostnamectl set-hostname master
三、设置静态IP
1、使用nmtui图形化工具配置
2、命令行配置
vi /etc/sysconfig/network-scripts/ifcfg-eth0
如下设置:
IPADDR=192.168.200.101
PREFIX=24
GATEWAY=192.168.200.2
DNS1=192.168.200.2
3、在windows的命令提示符下输入
ping 192.168.200.101看是否能ping通
4、在master上输入
ping www.baidu.com(需要Windows主机联外网)看是否能ping通
5、用xshell或其他的ssh工具连接
四、设置hosts文件
vi /etc/hosts
加入以下内容:
192.168.200.101 master
192.168.200.102 slave1
192.168.200.103 slave2
五、关闭并禁止防火墙
systemctl stop firewalld
systemctl disable firewalld
六、安装jdk1.8
1、新建文件夹存放软件
mkdir /opt/soft
复制jdk-8u171-linux-x64.tar.gz到此文件夹
2、新建文件夹存放安装的目录
mkdir /usr/java
3、解压到安装目录
tar -zxvf /opt/soft/jdk-8u171-linux-x64.tar.gz -C /usr/java/
4、配置环境变量
修改环境变量:vi /etc/profile
添加内容如下:
export JAVA_HOME=/usr/java/jdk1.8.0_171
export PATH=
P
A
T
H
:
PATH:
PATH:JAVA_HOME/bin
生效环境变量:
source /etc/profile
七、在master上配置hadoop
1、上传到 /opt/soft
2、解压
mkdir -p /usr/hadoop
tar -zxvf hadoop-2.7.3.tar.gz -C /usr/hadoop
3、配置环境变量
vi /etc/profile
加入下面内容
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export PATH=
P
A
T
H
:
PATH:
PATH:{HADOOP_HOME}/bin:${HADOOP_HOME}/sbin
保存退出后执行
source /etc/profile
4、修改配置文件(/usr/hadoop/hadoop-2.7.3/etc/hadoop/)
(1)hadoop-env.sh
vim /usr/hadoop/hadoop-2.7.3/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_171
(2)core-site.xml
vim /usr/hadoop/hadoop-2.7.3/etc/hadoop/core-site.xml
修改如下
fs.default.name
hdfs://master:9000
hadoop.tmp.dir
/usr/local/src/hadoop-2.7.3/hdfs/tmp
(3)hdfs-site.xml
vim /usr/hadoop/hadoop-2.7.3/etc/hadoop/hdfs-site.xml
修改如下:
dfs.namenode.secondary.http-address
slave1:9001
(4)mapred-site.xml
复制生成文件
cd /usr/hadoop/hadoop-2.7.3/etc/hadoop/
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
修改如下:
mapreduce.framework.name
yarn
(5)yarn-site.xml
vim /usr/hadoop/hadoop-2.7.3/etc/hadoop/yarn-site.xml
修改如下:
yarn.resourcemanager.hostname
master
yarn.nodemanager.aux-services
mapreduce_shuffle
(6)slaves(datanode的位置)
vim /usr/hadoop/hadoop-2.7.3/etc/hadoop/slaves
删除原有内容,修改如下:
master
slave1
slave2
八、复制生成slave1、slave2主机
1、克隆生成slave1
修改hostname为slave1
修改IP为192.168.200.102
2、克隆生成slave2
修改hostname为slave2
修改IP为192.168.200.103
九、ssh免密
(master执行->master|slave1|slave2)
ssh-keygen #4个回车 生成公钥、私钥
ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2
同理 在slave1、slave2上执行(可以同时输入操作)
十、时间同步(需要连接外网)
集群时间同步(3台机器)
yum -y install ntpdate
ntpdate ntp4.aliyun.com
十一、启动hadoop(在master上运行)
1、初始化namenode
hdfs namenode -format
2、在master运行
start-all.sh
十二、查看
1、在master、slave1、slave2上执行jps查看进程
2、在windows主机上输入namenodeIP+端口号
http://192.168.200.101:50070/查看HDFS管理界面
http://192.168.200.101:8088/查看yarn管理界面
十三、关闭Hadoop集群
在master(namenode)运行
stop-all.sh
搭建Hadoop
最新推荐文章于 2024-08-19 16:21:30 发布
![](https://img-home.csdnimg.cn/images/20240711042549.png)