虚拟机部署Hadoop

已于 2024-04-16 12:35:20 修改
阅读量239 收藏
点赞数 1
分类专栏： 工具安装合集 文章标签： java hadoop
于 2023-10-30 18:48:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/junqiduhang/article/details/134125116
版权

简介：通过本篇博客，你可以搭建起一个具有3个虚拟机结点：node1、node2和node3的hadoop集群，当然包括yarn的配置，这并不复杂，实测可用。在此基础上，可以搭建hive以及impala，不需要为兼容性担心。不过本篇博客不涉及hive和impala。
希望本篇文章对您有用！

相关软件链接：https://pan.baidu.com/s/1y_dCAACBdbSEPztiQrLHVA?pwd=h00i
提取码：h00i

一、材料准备

1、操作系统：CentOs7

版本如下

CentOS-7-x86_64-DVD-1810.iso

镜像站：archive.kernel.org

2、Hadoop

hadoop-3.3.4.tar.gz

3、JDK

jdk-8u361-linux-x64.tar.gz

二、基本环境

1、安装虚拟机

step1：使用VM自动安装即可
初始用户建议命名为hadoop

安装完成后进入桌面如图所示⬇⬇⬇
在这里插入图片描述
step2：根据step1中安装的虚拟机完全克隆三台虚拟机，名称分别为node1，node2和node3
在这里插入图片描述
调整node1配置为：2核4线程；4GB内存；20G硬盘
node2和node3配置为：1核2线程；2GB内存；20G硬盘

2、虚拟机基本环境配置

在安装hadoop之前，需要做ip映射、ssh免密登录等操作

切换为root

su root

（1）修改主机名
三台主机分别执行

hostnamectl set-hostname node1
hostnamectl set-hostname node2
hostnamectl set-hostname node3

（2）静态IP
需要修改或添加：BOOTPROTO、IPADDR、NETMASK、DNS1、GATEWAY。有的教程只让修改前两项可能导致无法联网。不妨碍安装hadoop。

图示为node1修改后内容

vim /etc/sysconfig/network-scripts/ifcfg-ens33

在这里插入图片描述

node2：192.168.88.101

node3：192.168.88.102

重启网卡，三台主机都要做

systemctl restart network

（3）配置主机名映射

三台主机都要做。

vim /etc/hosts

添加

192.168.88.100 node1
192.168.88.101 node2
192.168.88.102 node3

（4）免密登录

每台机器先执行，一直回车即可

ssh-keygen -t rsa -b 4096

然后每台机器都需要执行

ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

同理为hadoop用户配置免密登录

（6）关闭防火墙
三台都要做

systemctl stop firewalld
systemctl disable firewalld

（7）关闭SELinux
三台都要做

vim /etc/sysconfig/selinux

'''
修改SELINUX=disabled
'''

重启虚拟机

三、安装JDK

jdk上传可以使用scp也可以使用xftp，上传位置任意，建议放到/tmp

scp jdk-8u361-linux-x64.tar.gz root@192.168.88.100:/tmp

切换root用户

（1）安装

/export/server文件夹存放安装的软件

mkdir -p /export/server

进入server

cd /export/server

解压JDK

tar -zxvf /tmp/jdk-8u361-linux-x64.tar.gz  -C /export/server

创建jdk软链接（相当于快捷方式）

ln -s /export/server/jdk1.8.0_361 /export/server/jdk

（2）配置环境变量

vim /etc/profile

追加以下内容

export JAVA_HOME=/export/server/jdk
export PATH=$PATH:$JAVA_HOME/bin

使环境变量生效

source /etc/profile

配置java执行程序软链接

rm -f /usr/bin/java
ln -s /export/server/jdk/bin/java /usr/bin/java

验证，如图所示即为成功

java -version

在这里插入图片描述

剩余结点重复同样操作配置JDK

四、安装Hadoop3.3.4

用root用户

（1）将hadoop文件放到虚拟机中

scp hadoop-3.3.4.tar.gz root@192.168.88.100:/tmp

解压。除了需要写配置文件，流程基本和安装JDK一样

tar -zxvf /tmp/hadoop-3.0.0.tar.gz -C /export/server/

创建软链接

ln -s hadoop-3.3.4/ hadoop

（2）修改配置文件

1）配置workers

vim /export/server/hadoop/etc/hadoop/workers

让hadoop知道集群有哪几个结点。

node1
node2
node3

2）配置hadoop-env.sh文件

export JAVA_HOME=/export/server/jdk
export HADOOP_HOME=/export/server/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=$HADOOP_HOME/logs

3）配置core-site.xml文件

vim /export/server/hadoop/etc/hadoop/core-site.xml

写入以下内容

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node1:8020</value>
    </property>

    <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
    </property>

    <!-- 整合hive 配置hadoop时可以先不用加-->
    <property>
        <name>hadoop.proxyuser.hadoop.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.hadoop.groups</name>
        <value>*</value>
    </property>
</configuration>

4）配置hdfs-site.xml文件

vim /export/server/hadoop/etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <name>dfs.datanode.data.dir.perm</name>
        <value>700</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/data/nn</value>
    </property>
    <property>
        <name>dfs.namenode.hosts</name>
        <value>node1,node2,node3</value>
    </property>
    <property>
        <name>dfs.blocksize</name>
        <value>268435456</value>
    </property>
    <property>
        <name>dfs.namenode.handler.count</name>
        <value>100</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/data/dn</value>
    </property>
 </configuration>

（3）创建数据目录

node1节点

mkdir -p /data/nn
mkdir /data/dn

node2和node3节点

mkdir -p /data/dn

（4）将node1关于hadoop的配置发送到node2和node3

PS：建议只发送修改的配置文件🤔，否则发送时间会有点长😣…

scp -r hadoop-3.3.4 node2:/export/server
scp -r hadoop-3.3.4 node3:/export/server

在node2和node3中分别创建关于hadoop的软链接

ln -s  /export/server/hadoop-3.3.4 /export/server/hadoop-3.3.4

（5）配置hadoop环境变量

vim /etc/profile

追加，这样可以直接在shell调用hadoop的命令

export HADOOP_HOME=/export/server/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

（6）授权hadoop用户

chown -R hadoop:hadoop /data
chown -R hadoop:hadoop /export

（7）格式化namenode

😡😡注意用hadoop用户、注意用hadoop用户😡😡

hadoop namenode -format

（8）启动集群
直接执行

start-dfs.sh

停止集群用下面的命令

stop-dfs.sh

浏览器输入一下地址，可以进入hdfs的webUI

192.168.88.100:9870

在这里插入图片描述

（9）mapreduce和yarn配置
以下文件都在/export/server/hadoop/etc/hadoop目录下，用vim编辑即可

①mapred-env.sh

export JAVA_HOME=/export/server/jdk
# 设置历史服务器进程为1000MB
export HADOOP_JOB_HISTORYSERVER_HEAPSIZE=1000
# 设置日志级别为INFO
export HADOOP_MAPRED_ROOT_LOGGER=INFO,RFA

②mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

    <property>
        <name>yarn.app.mapreduce.am.env</name>
        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>

    <property>
        <name>mapreduce.map.env</name>
        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>

    <property>
        <name>mapreduce.reduce.env</name>
        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>

    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>node1:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>node1:19888</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.intermediate-done-dir</name>
        <value>/data/mr-history/tmp</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.done-dir</name>
        <value>/data/mr-history/done</value>
    </property>
</configuration>

③yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
<!-- 指定YARN的主角色（ResourceManager）的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>node1</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
    </property>

    <!-- NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序默认值："" -->
   <property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>/data/nm-local</value>
    </property>
    <property>
        <name>yarn.nodemanager.log-dirs</name>
        <value>/data/nm-log</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.remote-app-log-dir</name>
        <value>/tmp/logs</value>
    </property>

    <!-- 开启日志聚集 -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>

    <!-- 设置yarn历史服务器地址 -->
    <property>
        <name>yarn.log.server.url</name>
        <value>http://node1:19888/jobhistory/logs</value>
    </property>
    <property>
        <name>yarn.web-proxy.address</name>
        <value>node1:8089</value>
    </property>

</configuration>

④yarn-env.sh

export JAVA_HOME=/export/server/jdk
export HADOOP_HOME=/export/server/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=$HADOOP_HOME/logs

分发修改后的配置文件

scp mapred-env.sh mapred-site.xml yarn-env.sh yarn-site.xml node2:/export/server/hadoop/etc/hadoop
scp mapred-env.sh mapred-site.xml yarn-env.sh yarn-site.xml node3:/export/server/hadoop/etc/hadoop

此时启动hadoop集群后，再输入

start-yarn.sh

即可穷的那个yarn，浏览器输入

192.168.88.100：8088

即可进入yarn的webUI。如果你给集群提交了一个任务，你可以在这里看到它。

junqiduhang
关注
专栏目录
在虚拟机上部署hadoop集群（全流程）
Yuka_bro
05-30 1456
hadoop搭建全流程
Ubuntu 16.4虚拟机 配置Hadoop集群
ws_Ando的博客
11-24 2708
Ubuntu 16.4 配置Hadoop集群
虚拟机Hadoop环境安装配置
01-25
从零安装配置Hadoop环境流程总结，包括单节点，伪分布和完全分布几种情况。
虚拟机中安装hadoop
此人很懒
02-04 1785
命名并存放，建议一个文件夹并将原来的虚拟机改为hadoop01，重命名的为hadoop02和haoop03。9. 按步骤8再次进行克隆hadoop03，开hadoop02和hadoop03，分别。13.配置Hadoop集群，使用远程传输工具将hadoop、JDK安装包传输到。如图所示，我们先输入yes，接着会要我们输入其他主机的密码，如下图。在你的DHCP设置中的ip起始到结束的范围内，而且要注意，hadoop02、hadoop03步骤一样，按步骤来！同理，配置hadoop03，按照步骤10操作，
虚拟机安装Hadoop
qq_54542910的博客
10-17 4768
Hadoop的安装
虚拟机上搭建Hadoop运行环境
qq_44286009的博客
08-04 3028
比如在上面这台虚拟机上面配置了上述主机名称和IP的映射，那么我要在这台主机访问另外几个IP，只需要访问他们的主机名即可。最大磁盘大小在条件允许的情况下建议是设置40G以上， 20G可能后续还需扩容，这里我们设置的50G.集群化软件之间需要通过端口互相通讯，为了避免出现网络不通的问题，我们可以简单的在集群内部关闭防火墙。手动分区的话，选择“我要配置分区”，点击完成，然后弹出配置界面，进行配置即可，这里不作赘述。设置日期和时间，将日期和时间设置为当前时间，设置完成后点击完成即可。为了方便可以选择自动分区。
大数据-Hadoop(虚拟机安装）
weixin_59868842的博客
01-29 3015
1.安装虚拟机 1.2．新建虚拟机，如图1-17所示 1.2．新建虚拟机向导，如图1-18所示 图1-18 新建虚拟机向导 1.3．创建虚拟空白光盘，如图1-19所示 1.4．安装Linux系统对应的CentOS版，如图1-20所示 1.5．虚拟机命名和定位磁盘位置，如图1-21所示 1.6．处理器配置，看自己是否是双核、多核 1.7．设置内存为2GB 1.8．网络设置NAT 1.9．选择IO控制器类型 1.10．选择磁盘类型 1.11...
虚拟机配置hadoop
ZYF2190003497的博客
10-21 2263
1112
Win10 IDEA连接虚拟机中的Hadoop集群（进来保你成）_idea连接虚拟机上hadoop集群
最新发布
2401_84185074的博客
04-28 1247
变量值：%JAVA_HOME%\bin变量值：%JAVA_HOME%\jre\bin使用java -version、javac验证（注意上面bin以及\jre\bin都要配置，不然会出现hadoop找不到JAVA_HOME的问题）6. 将winutil.exe放置到hadoop-2.7.7\bin\目录下面。下载，GitHub中选一个比自己hadoop版本相同或者说高一点的版本)
虚拟机中hadoop2.6.0的安装与配置 （单机模式，伪分布式，完全分布式）
08-05
虚拟机Ubuntu下hadoop2.6.0的安装与配置 （单机模式，伪分布式，完全分布式）非常详细的安装配置指南
vmware虚拟机下hadoop集群安装过程
11-01
详细介绍采用vmware虚拟机安装 hadoop系统的过程， 为学习hadoop创造一个良好的环境
虚拟机下Hadoop开发环境搭建
01-14
Hadoop 开发环境搭建第一篇： 1、是用Virtual Box 系统使用的是Redhat ，linux不熟的朋友们可以顺便学习一下linux， 2、环境配置包括防火墙关闭，IP分配，更改域名等 3、服务软件：远程服务SSH等安装
Hadoop虚拟机搭建Hadoop-3.3.0集群环境
06-07
在构建Hadoop虚拟机集群环境时，我们首先要理解Hadoop的核心概念和作用。Hadoop是一个开源的分布式计算框架，由Apache基金会开发，主要用于处理和存储海量数据。它基于Google的MapReduce编程模型和GFS（Google文件...
虚拟机安装Hadoop环境-1
CheyenneMa的博客
12-03 373
系统 LINUX 让一个普通的用户转换成为管理员赋予root权限 修改 /etc/sudoers 文件，找到下面一行，把前面的注释(#)去掉　　## Allows people in group wheel to run all commands　　%wheel ALL=(ALL) ALL　　然后修改用户，使其属于root组(wheel)，命令如下：　　#usermod -g root tommy
使用虚拟机搭建Hadoop（伪分布式搭建、分布式搭建）
weixin_48435461的博客
01-01 8039
学了一个学期的Hadoop，终于把这块大骨头啃掉了，泪目！！！ 这篇文章更像是一个学习Hadoop的总结 Hadoop伪分布式、分布式搭建一、准备工作1、hadoop压缩包2、jdk压缩包3、Xshell4、Xftp5、VM虚拟机二、Hadoop伪分布式1、安装Java2、配置环境变量3、安装Hadoop4、格式化NameNode5、配置Hadoop、start-dfs.sh和start-yarn.sh环境变量6、启动Hadoop7、通过Web端口访问HDFS三、Hadoop分布式0、安装Java1、修改
虚拟机上安装hadoop
qq_42649132的博客
06-07 1324
虚拟机上安装hadoop
在虚拟机上安装Hadoop
m0_73469590的博客
02-17 2519
开启：[root@localhost .ssh]# ssh-copy-id -i ./id_rsa.pub -p22。2，刷新配置文件：[root@localhost soft]# source /etc/profile。3，测试：[root@localhost soft]# java -version，可以查看到版本号。1，配置jdk环境变量：[root@hadoop soft]# vim /etc/profile。1，配置hosts文件:[root@hadoop ~]# vim /etc/hosts。
在虚拟机上安装hadoop环境
wenqi
07-19 3178
此前已将jdk，zookeeper在虚拟机配置成功，环境仍然为三台虚拟机（master，slave1，slave2） 安装hadoop： 1）解压安装包（master） 创建相关工作路径，解压hadoop到相应目录。 mkdir -p /usr/hadoop cd /usr/hadoop tar -zxvf hadoop-2.7.3.tar.gz -C /usr/hadoop/ 2)添加hadoop环境变量（三台机器执行） vim /etc/profile 添加内容： export HADOOP_HOM
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值