hadoop集群搭建实录

最新推荐文章于 2024-10-01 01:39:24 发布
最新推荐文章于 2024-10-01 01:39:24 发布
阅读量199 收藏
点赞数
分类专栏： apache-hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SnowXu01/article/details/108363037
版权

1. 主机准备

1.1 主机规划

主机IPHostNameCPUMEMERYUSERPWD
hadoop181192.168.207.181hadoop1814 CORE8Ghadoophadoop
hadoop182192.168.207.182hadoop1824 CORE4Ghadoophadoop
hadoop183192.168.207.183hadoop1834 CORE4Ghadoophadoop

1.2 主机初始化

（1） 克隆三台虚拟机
在这里插入图片描述

（2） 创建用户密码(三台都要)

groupadd hadoop
useradd -s /bin/bash -d /home/hadoop -g hadoop hadoop
passwd hadoop    # 设置账户密码都为Hadoop

（4） 关闭防火墙 （三台都要）

systemctl disable firewalld
systemctl stop firewalld

（5）关闭 seLinux（三台都要）

# 关闭防火墙， 设置 SELINUX=disabled 即可 
vim /etc/selinux/config
SELINUX=disabled

在这里插入图片描述

（6）修改ip地址（三台都要）

vim /etc/sysconfig/network-scripts/ifcfg-ens33

（7） 修改hostname （三台都要）

hostnamectl set-hostname hadoop181 # 第一台
hostnamectl set-hostname hadoop182 # 第二台
hostnamectl set-hostname hadoop183 # 第三台

（8） 配置sudo 提权（三台都要）

## Next comes the main part: which users can run what software on 
## which machines (the sudoers file can be shared between multiple
## systems).
## Syntax:
##
##      user    MACHINE=COMMANDS
##
## The COMMANDS section may have other options added to it.
##
## Allow root to run any commands anywhere 
root    ALL=(ALL)       ALL
hadoop  ALL=(ALL)       NOPASSWD:ALL #增加这一行

2. 安装前主机准备

2. 1. 集群命令操作脚本准备

2. 2. 修改hosts文件，追加host配置

[root@hadoop181 ~]# xssh cat /etc/hosts
[DEBUG] 1 command is :cat /etc/hosts
[DEBUG] ssh to hadoop181 to execute commands [ cat /etc/hosts] 
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.207.181 hadoop181
192.168.207.182 hadoop182
192.168.207.183 hadoop183
[DEBUG] ssh to hadoop182 to execute commands [ cat /etc/hosts] 
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.207.181 hadoop181
192.168.207.182 hadoop182
192.168.207.183 hadoop183
[DEBUG] ssh to hadoop183 to execute commands [ cat /etc/hosts] 
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.207.181 hadoop181
192.168.207.182 hadoop182
192.168.207.183 hadoop183
[root@hadoop181 ~]#

2. 3. 配置hadoop用户的集群间免密登录

源主机目标1目标2目标3
hadoop181hadoop181hadoop182hadoop183
hadoop182hadoop181hadoop182hadoop183
hadoop183hadoop181hadoop182hadoop183
# 密钥生成
[hadoop@hadoop181 ~]$ ssh-keygen -t rsa
[hadoop@hadoop182 ~]$ ssh-keygen -t rsa
[hadoop@hadoop183 ~]$ ssh-keygen -t rsa

# 分发hadoop181 到 其他机器的 密钥命令  
[hadoop@hadoop181 ~]$ ssh-copy-id hadoop@hadoop181
[hadoop@hadoop181 ~]$ ssh-copy-id hadoop@hadoop182
[hadoop@hadoop181 ~]$ ssh-copy-id hadoop@hadoop183

# 分发hadoop182 到 其他机器的 密钥命令 
[hadoop@hadoop182 ~]$ ssh-copy-id hadoop@hadoop181
[hadoop@hadoop182 ~]$ ssh-copy-id hadoop@hadoop182
[hadoop@hadoop182 ~]$ ssh-copy-id hadoop@hadoop183

# 分发hadoop183 到 其他机器的 密钥命令 
[hadoop@hadoop183 ~]$ ssh-copy-id hadoop@hadoop181
[hadoop@hadoop183 ~]$ ssh-copy-id hadoop@hadoop182
[hadoop@hadoop183 ~]$ ssh-copy-id hadoop@hadoop183

2.4 集群时间同步（略）

3.HADOOP 集群搭建

3.1 服务规划

服务hadoop181hadoop182hadoop183
Name Node√
DataNode√√√
ResourceManager√
NodeManager√√√
HistoryServer√
Zookeeper√√√
Secondary NameNode√

3.2 安装包准备

(1) hadoop 包下载地址 （hadoop 官网）
(2) 将下载的包 上传到 hadoop181 /home/hadoop/ 路径下

（本次安装使用3.*版本）

在这里插入图片描述

3.3 JDK安装

（1） 解压 jdk

## 解压
[hadoop@hadoop181 ~]$ tar -zxvf jdk-8u144-linux-x64.tar.gz

## 进入到解压后的目录
[hadoop@hadoop181 ~]$ cd jdk1.8.0_144

## 拿到目录地址
[hadoop@hadoop181 jdk1.8.0_144]$ pwd
/home/hadoop/jdk1.8.0_144

（2） 配置环境变量

[hadoop@hadoop181 ~]$ vim .bashrc
# .bashrc

# Source global definitions
if [ -f /etc/bashrc ]; then
        . /etc/bashrc
fi

# Uncomment the following line if you don't like systemctl's auto-paging feature:
# export SYSTEMD_PAGER=

# User specific aliases and functions

# JAVA HOME
export JAVA_HOME=/home/hadoop/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

（3） 使配置环境变量生效

[hadoop@hadoop181 ~]$ source .bashrc 
[hadoop@hadoop181 ~]$ 

# 测试java环境是否生效
[hadoop@hadoop181 ~]$ java -version
java version "1.8.0_144"
Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)
[hadoop@hadoop181 ~]$ 
[hadoop@hadoop181 ~]$ 
[hadoop@hadoop181 ~]$

（4） jdk 与环境变量分发

[hadoop@hadoop181 ~]$ xsync jdk1.8.0_144
[hadoop@hadoop181 ~]$ xsync .bashrc

(5) 测试

[hadoop@hadoop181 ~]$ xssh java -version
[DEBUG] 1 command is :java -version
[DEBUG] 1 command is :java -version
[DEBUG] ssh to hadoop181 to execute commands [ java -version] 
java version "1.8.0_144"
Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)
[DEBUG] ssh to hadoop182 to execute commands [ java -version] 
java version "1.8.0_144"
Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)
[DEBUG] ssh to hadoop183 to execute commands [ java -version] 
java version "1.8.0_144"
Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)
[hadoop@hadoop181 ~]$

3.4 集群配置

3.4.0 安装包处理

（1） 解压hadoop安装包

[hadoop@hadoop181 ~]$ tar -zxvf hadoop-3.1.3.tar.gz

（2）配置环境变量

# 拿到解压目录
[hadoop@hadoop181 hadoop-3.1.3]$ pwd
/home/hadoop/hadoop-3.1.3

# 配置环境变量
[hadoop@hadoop181 ~]$ vim ~/.bashrc
export HADOOP_HOME
# .bashrc

# Source global definitions
if [ -f /etc/bashrc ]; then
        . /etc/bashrc
fi

# Uncomment the following line if you don't like systemctl's auto-paging feature:
# export SYSTEMD_PAGER=

# User specific aliases and functions


# JAVA HOME
export JAVA_HOME=/home/hadoop/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

# HADOOP HOME
export HADOOP_HOME=/home/hadoop/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/sbin
export PATH=$PATH:$HADOOP_HOME/bin

（3）使配置生效

[hadoop@hadoop181 ~]$ source .bashrc
3.4.1 核心配置文件

（1） 修改 vim hadoop-env.sh 文件

[hadoop@hadoop181 ~]$ vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh

配置JAVA_HOME 路径

export JAVA_HOME=/home/hadoop/jdk1.8.0_144

（2）修改core-site.xml 文件

[hadoop@hadoop181 ~]$ vim $HADOOP_HOME/etc/hadoop/core-site.xml

增加如下内容

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop181:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoop-3.1.3/data/tmp</value>
    </property>
</configuration>
3.4.2 HDFS 配置文件

（1） 配置hdfs-site.xml 文件

[hadoop@hadoop181 ~]$ vim $HADOOP_HOME/etc/hadoop/hdfs-site.xml

配置如下内容

    <!-- 指定HDFS副本的数量 -->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <!-- 指定Hadoop辅助名称节点主机配置 -->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop183:50090</value>
    </property>
3.4.3 YARN 配置文件

（1） 修改 vim hadoop-env.sh 文件

[hadoop@hadoop181 ~]$ vim $HADOOP_HOME/etc/hadoop/yarn-env.sh

配置JAVA_HOME 路径

export JAVA_HOME=/home/hadoop/jdk1.8.0_144

（2） 修改 yarn-site.xml 文件

[hadoop@hadoop181 ~]$ vim $HADOOP_HOME/etc/hadoop/yarn-site.xml

增加如下内容

   <!-- Reducer获取数据的方式 -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定YARN的ResourceManager的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop182</value>
    </property>
3.4.4 MapReduce 配置文件

（1） 修改 mapred-env.sh文件

[hadoop@hadoop181 ~]$ vim $HADOOP_HOME/etc/hadoop/mapred-env.sh

增加JAVA_HOME的配置

export JAVA_HOME=/home/hadoop/jdk1.8.0_144

（2） 修改mapred-site.xml文件

[hadoop@hadoop181 ~]$ vim $HADOOP_HOME/etc/hadoop/mapred-site.xml

增加如下配置

    <!-- 指定MR运行在YARN上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
3.4.5 日志服务器配置

（1） 历史服务器配置

[hadoop@hadoop181 ~]$ vim $HADOOP_HOME/etc/hadoop/mapred-site.xml

增加如下内容

    <!-- 历史服务器端地址 -->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop181:10020</value>
    </property>

    <!-- 历史服务器web端地址 -->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop181:19888</value>
    </property>

（2） 日志聚集

[hadoop@hadoop181 ~]$ vim $HADOOP_HOME/etc/hadoop/yarn-site.xml

增加如下内容

    <!-- 日志聚集功能使能 -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>

    <!-- 日志保留时间设置7天 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>
3.4.6 文件分发
[hadoop@hadoop181 ~]$ xsync .bashrc
[hadoop@hadoop181 ~]$ xsync hadoop-3.1.3

3.5 格式化集群

# 在NameNode 节点上执行格式化命令
[hadoop@hadoop181 ~]$ hdfs namenode -format

3.6 手动启动服务

（1） 启动NameNode

方式1

hadoop-daemon.sh start namenode

方式2

hdfs --daemon start

（2） 启动DataNode
方式1

hadoop-daemon.sh start datanode

方式2

hdfs --daemon start

（3） 检查是否启动完成

xssh jps -l

（4）启动ResourceManager
方式1

yarn-daemon.sh start resourcemanager

方式2

yarn --daemon start

（5）启动NodeManager
方式1

yarn-daemon.sh start nodemanager

方式2

yarn --daemon start

（6）启动历史服务器

（7）启动secondary NameNode
方式1

mr-jobhistory-daemon.sh start historyserver

方式2

mapred --daemon start

3.7 批量启动集群

（1） 增加workers配置

[hadoop@hadoop181 ~]$ vim $HADOOP_HOME/etc/hadoop/workers

增加内容如下内容（需要分发到所有机器）

hadoop181
hadoop182
hadoop183

（1）批量启动hdfs

start-dfs.sh
stop-dfs.sh

（2）批量起停yarn

start-yarn.sh
stop-yarn.sh

（3）全部起，全部停

start-all.sh
stop-all.sh

3.8 查看集群

（1） hdfs 浏览器页面查看

访问地址 http://hadoop181:9870/

在这里插入图片描述
（2） secondaryNameNode状态查看

http://hadoop183:50090/status.html

NOTE：
这个SecondaryNameNode 状态可能不会显示，这个时候修改 dfs-dust.js 文件即可解决

[hadoop@hadoop181 ~]$ vim $HADOOP_HOME/share/hadoop/hdfs/webapps/static/dfs-dust.js
[hadoop@hadoop181 ~]$ xsync $HADOOP_HOME/share/hadoop/hdfs/webapps/static/dfs-dust.js

修改内容如下， 注释moment的行，增加一个新行返回Date的格式即可
在这里插入图片描述

思诺的小世界
关注
专栏目录
Hadoop大数据集群搭建（超详细）_hadoop集群搭建
2401_84181070的博客
04-27 1119
打开C:\Windows\System32\drivers\etc下的hosts文件,添加以下内容（注：如果没有notepad++这类软件，可以通过记事本保存在其他位置，然后拖动到该文件夹下）同样通过mobaxterm的上的SFTP功能（或其他工具）上传到/export/software目录下，然后解压到/export/servers目录下。传完之后要在hadoop02和hadoop03上分别执行 source /etc/profile 命令，来刷新配置文件。在hadoop01上执行。
Hadoop大数据集群搭建（超详细）_hadoop集群搭建(1)
2401_84181070的博客
04-27 1104
打开C:\Windows\System32\drivers\etc下的hosts文件,添加以下内容（注：如果没有notepad++这类软件，可以通过记事本保存在其他位置，然后拖动到该文件夹下）Hadoop的JAVA_HOME版本设置未更改，例如未去掉注释等，三台虚拟机全都改好后重启hdfs和yarn。Hadoop的JAVA_HOME版本设置未更改，例如未去掉注释等，三台虚拟机全都改好后重启hdfs和yarn。执行该程序（参考下文中可能遇到的问题，问题1、2为必现问题，建议直接修改）
hadoop集群搭建详解
04-07
hadoop搭建详细步骤，方便搭建hadoop集群及单机环境
Hadoop2.7.2之集群搭建（三台）
_阿坤的博客
05-27 1万+
如果你还没有虚拟机，请参考：http://blog.csdn.net/uq_jin/article/details/51355124 如果你还没有试过单机模式，请参考：http://blog.csdn.net/uq_jin/article/details/51451995集群规划 主机名 ip 安装的软件 进程 master 192.168.1.111 jdk、hadoo
Hadoop集群搭建（详细版）
最新发布
qq_73824705的博客
10-01 1924
分别在hadoop101、hadoop102、hadoop103中修改 hosts 文件（主要用于映射 IP 地址和域名之间的连接）设置hostname，分别修改主机名为hadoop101、hadoop102、hadoop103，cat命令查看主机名。进入hadoop101，打开终端，设置为静态 ip ，添加 ip 地址、网关和域名。打开xshell，hadoop101、hadoop102、hadoop103建立连接。打开ens33并修改主机名为hadoop101，点击完成，开始安装。
Hadoop大数据集群搭建（超详细）
热门推荐
小飞飞V5的博客
05-21 3万+
本文主要介绍了Hadoop集群的搭建过程，图文详细，适合新手入门
Hadoop集群搭建详解
Ricky
05-28 164
关于hadoop的安装，目前来说已经非常的简单，但是还是避免不了一些难以想象的坑，为了解决这些问题，特在此记录下，hadoop集群的详细搭建步骤，希望能够帮助一些初学者！    PS：这个文章是在有道云笔记整理成章，打开下面链接即可！点击打开链接...
hadoop集群搭建(超级详细)
10-11
本文将详细讲解如何搭建一个Hadoop集群，包括虚拟机安装、环境配置、Hadoop和Zookeeper的安装及集群验证。以下是对每个步骤的详细说明： 一、虚拟机安装与配置 在搭建Hadoop集群之前，首先需要准备多台虚拟机。可以...
Hadoop集群搭建教程（ubuntu） (1).docx
06-17
详细的Hadoop集群搭建过程，有6部分，前提是能连接网络，前三部都是很简单免密要仔细看，推荐JAVA版本1.8，Hadoop版本2.2.7 这两个版本都是稳定的
hadoop集群搭建_centos7配置静态IP
01-07
1.网络配置 设为NAT模式 虚拟机中选中节点,设置–>虚拟机设置—>网络适配器—>NAT模式 2.网络配置 打开虚拟机 ,选中需要修改的节点,步骤如下: 编辑—>虚拟网络编辑器—>VMnet8(NAT模式)—>移除...如果是集群配置,其
hadoop集群搭建
12-04
大数据hadoop单机集群的搭建的详细步骤及图片文字说明；三台虚拟机的单机系统
hadoop 集群搭建（详细版）
yujinlong2002的博客
03-16 1953
hadoop 大户据平台的搭建，内容自认为比较详细
一文详解hadoop集群搭建
熊與貓v
08-29 434
一、准备 准备一台内存最少8G（建议16G）、cpu i7 4核的电脑 二、目录 安装虚拟化软件VMware 准备3台linux虚拟机 搭建3节点的hadoop集群 四、知识要点 VMware版本： VMware建议使用比较新的版本，如VMware 15.5 关于VMware的安装，直接使用安装包一直下一步安装即可，且安装包当中附带破解秘钥，进行破解即可使用 linux版本 linux统一使用centos7.6 64位版本 种子文件下载地址：http://mirrors.aliyun
Hadoop集群搭建详解以及安装包下载
qq_41166135的博客
08-17 738
1.创建一台虚拟机，并且克隆两台，并且配置好/etc/hosts文件的ip映射，克隆在我前面的博客里面有详细步骤。 如果搭建过程不成功有可能是防火墙的问题，关闭防火墙，重启就OK //chkconfig iptables off 2.将集群通信搭好，前面的文章里面也有，现在有一个简单的方法 （1）安装ssh客户端 （2）到这个里面有个安装脚本，运行一下就...
Hadoop集群搭建教程（详细）
火麒马
01-16 1765
 https://blog.csdn.net/fanxin_i/article/details/80425461
hadoop集群完全分布式搭建 图文详解
weixin_42487460的博客
07-06 400
hadoop环境完全分布式搭建集群准备集群规划修改配置文件启动集群时间同步 集群准备 准备3台客户机（关闭防火墙、静态ip，主机映射、主机名称），主机名称分别hadoop1，hadoop2，hadoop3 三台虚拟机安装好jdk，并配置环境变量 配置ssh，免密登录 （1）在每台虚拟机上vi /etc/hosts 将集群中的虚拟机ip地址和主机名绑定，如 (2) 在每台虚拟机上生成公私钥   ssh-keygen -t rsa -P '' (3) 拷贝私钥给集群中的每个虚拟机（本身和其他两
Hadoop集群搭建方法及详解
资源摘要信息:"Hadoop集群搭建共10页.pdf.zip" 知识点概述： 1. Hadoop简介：Hadoop是一个由Apache基金会开发的开源框架，主要用于存储和处理大规模数据集。它允许用户在普通硬件上创建分布式应用，并且能够处理PB...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值