Centos 搭建Hadoop集群

已于 2022-03-12 11:56:58 修改
阅读量3.7k 收藏 22
点赞数 6
分类专栏： 大数据 文章标签： hadoop centos 分布式
于 2022-03-11 15:40:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/realoser/article/details/123422516
版权

本文是对之前的五篇文章的汇总和优化。

文章目录

一、安装 JDK

1. 解压安装包

  • 将JDK 安装包解压并移动到 /usr/local/src 路径。
tar -zxvf jdk-8u162-linux-x64.tar.gz
mv jdk1.8.0_162 /usr/local/src

2. 配置环境变量

  • 只对 root 用户生效。如果要设置全局变量则修改 /etc/profile 文件
  • 修改 /root/.bash_profile 文件，设置 JDK 环境变量。
vi /root/.bash_profile

在文末追加以下文字：

# set java environment
export JAVA_HOME=/usr/local/src/jdk1.8.0_162
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
  • 让环境变量生效
source /root/.bash_profile
  • 分别执行 “java” 和 “javac” 命令。如果有输出就说明 JDK 安装完成。
java
javac

二、重命名节点

1. 添加主机名和 ip 映射

  • 修改 /etc/hosts 文件，添加主机名和 ip 的映射
vi /etc/hosts

在文末追加以下文字：

# 主机IP地址 映射
192.168.1.101 master  # 主节点
192.168.1.102 slave1  # 子结点
192.168.1.103 slave2  # 子结点
  • 要给所有节点配置映射
scp /etc/hosts root@slave1:/etc/
scp /etc/hosts root@slave2:/etc/

2. 配置无密码登录

  • master生成密钥
 ssh-keygen -t rsa
  • 将master的公钥拷贝到其他机器
ssh-copy-id master # 这里就用到了上面的ip映射
ssh-copy-id slave1
ssh-copy-id slave2
  • 所有节点都要配置到其他节点的免密登录，包括节点本身
    master 免密登录到 master、slave1、slave2 …
    slave1 免密登录到 master、slave1、slave2 …
    slave2 免密登录到 master、slave1、slave2 …
    …

3. 重命名

  • 将三个节点分别命名为 master、slave1、slave2。
hostname  # 查看本机的用户名
hostnamectl set-hostname master
reboot
  • 登录 slave1 和 slave2，修改他们的用户名。
ssh root@slave1  # 如果没有配置上面的免密登录，那么每次都要输入一次密码
hostname
hostnamectl set-hostname slave1 
reboot

ssh root@slave2  
hostname
hostnamectl set-hostname slave2
reboot

在这里插入图片描述

三、给节点配置 JDK

1. 传输文件

  • 用 scp 把 JDK 环境变量文件以及 JDK 解压后的安装文
    件到 slave1、slave2 节点。
  • 如果不知道怎么使用 scp，转到 Linux 之间传输文件。
scp -r /usr/local/src/jdk1.8.0_162 root@slave1:/usr/local/src/
scp -r /usr/local/src/jdk1.8.0_162 root@slave2:/usr/local/src/
scp /root/.bash_profile  root@slave1:/root/
scp /root/.bash_profile  root@slave2:/root/

2. 验证

登录 slave1、slave2 节点，分别执行 “java” 和 “javac” 命令，验证 JDK 是否安装完成。如果没有输出就执行 source /root/.bash_profile

四、全分布式 Hadoop 安装

1. 解压安装包

  • 将 Hadoop 安装包解压并移动到 /usr/local/src 路径。
tar -zxvf hadoop-2.7.7.tar.gz
mv hadoop-2.7.7 /usr/local/src

2. 配置环境变量

  • 修改 /root/.bash_profile 文件，设置 Hadoop 环境变量。
vi /root/.bash_profile

在文末追加以下文字：

# set hadoop environment
export HADOOP_HOME=/usr/local/src/hadoop-2.7.7
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  • 让环境变量生效
source /root/.bash_profile
  • 执行 “hadoop” 命令。如果有输出就说明 Hadoop 安装完成。
    在这里插入图片描述

3. 配置 hadoop-env.sh 和 yarn-env.sh 文件

  • 所有配置文件都在 /hadoop-2.7.7/etc/hadoop/ 文件夹下。（/hadoop-2.7.7 是我的 Hadoop 安装目录，详细路径是 /usr/local/src/hadoop-2.7.7）
    在这里插入图片描述
cd /usr/local/src/hadoop-2.7.7/etc/hadoop/
vi hadoop-env.sh

# 修改完 hadoop-env.sh 后再修改 yarn-env.sh，添加的内容一样

在文末追加以下文字：

export JAVA_HOME=/usr/local/src/jdk1.8.0_162

4. 配置 core-site.xml 文件

  • 先在 Hadoop 安装路径新建 hdfs 文件夹，再在 hdfs 文件夹下新建 tmp、name、data。
cd /usr/local/src/hadoop-2.7.7
mkdir hdfs
cd hdfs
mkdir tmp
mkdir name
mkdir data
  • 修改 Hadoop 核心配置文件 core-site.xml，这里配置的是 HDFS 的地址和端口号。
cd /usr/local/src/hadoop-2.7.7/etc/hadoop
vi core-site.xml

在文末追加以下文字：

<configuration>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/src/hadoop-2.7.7/tmp</value>
        </property>
        <property>
                <name>fs.default.name</name>
                <!--这是 master 的 ip-->
                <value>hdfs://master:9000</value>   
        </property>
</configuration>

备注： 如没有配置hadoop.tmp.dir参数，此时系统默认的临时目录为：/tmp/hadoo-hadoop。而这个目录在每次重启后都会被干掉，必须重新执行format才行，否则会出错。

5. 配置 hdfs-site.xml文件

vi hdfs-site.xml
  • 修改Hadoop中HDFS的配置，replication 是数据副本数量，默认为3，slave少于3台就会报错（副本数量需要小于等于slave数）。自己练习只设置1个副本就可以了。我这里根据要求设置为3。
<configuration>
		<property>
				<name>dfs.replication</name>
				<value>3</value>
		</property>
		<property>
				<name>dfs.permissions</name>
				<value>false</value>
		</property>
		<property>
				<name>dfs.name.dir</name>
				<value>/home/hdfs/name</value>
		</property>
		<property>
				<name>dfs.data.dir</name>
				<value>/home/hdfs/data</value>
		</property>
</configuration>

6. 配置 mapred-site.xml 文件

  • 只有 mapred-site.xml.template 文件， 则先在 mapred-site.xml.template 中写配置，然后再复制一份，并命名为mapred.xml。
vi mapred-site.xml.template

在文末追加以下文字：

<configuration>
		<property>
				<name>mapreduce.framework.name</name>
				<value>yarn</value>
		</property>
</configuration>

复制一份

cp mapred-site.xml.template mapred-site.xml

7. 配置 yarn-site.xml 文件

vi yarn-site.xml

在文末追加以下文字：

<configuration>
		<property>
				<name>yarn.resourcemanager.hostname</name>
				<value>master</value>
		</property>
		<property>
				<name>yarn.nodemanager.aux-services</name>
				<value>mapreduce_shuffle</value>
		</property>
		<property>
				<name>yarn.nodemanager.vmem-check-enabled</name>
				<value>false</value>
		</property>
</configuration>

8. 修改 slaves 文件

vi slaves

去掉里边的 localhost，添加集群中的所有结点。

master
slave1
slave2

在这里插入图片描述

五、给节点配置 Hadoop

1. 传输文件

scp -r /usr/local/src/hadoop-2.7.7/ root@slave1:/usr/local/src/
scp -r /usr/local/src/hadoop-2.7.7/ root@slave2:/usr/local/src/
scp /root/.bash_profile root@slave1:/root
scp /root/.bash_profile root@slave2:/root

2. 验证

登录 slave1、slave2 节点，执行 hadoop 命令，验证 Hadoop 是否安装完成。如果没有输出就执行 source /root/.bash_profile

六、启动及验证 Hadoop

1. 格式化HDFS文件系统

切换到 master。

hadoop namenode -format

在这里插入图片描述
输出比较多，大致是这样的。

2. 启动 Hadoop

start-all.sh

输出的结果：
在这里插入图片描述

可以看出，首先启动 namenode 接着启动datanode1，datanode2，…，然后启动secondarynamenode。再启动 yarn，然后启动 nodemanager1，nodemanager2，…。

3. 验证hadoop

在Master上用 java自带的小工具 jps 查看进程。
在这里插入图片描述

在Slave上用jps查看进程。
在这里插入图片描述

4. 网页查看集群

  • 如果访问不了就关闭防火墙。
systemctl stop firewalld

  • 查看hdfs集群状态，也就是namenode的访问地址，默认访问地址：http://namenode的ip:50070
    在这里插入图片描述

  • 查看secondary namenode的集群状态，默认访问地址：http://namenode的ip:50090

在这里插入图片描述

iFulling
关注
  • 6
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
专栏目录
Hadoop集群搭建(一)-创建虚拟机+安装CentOS
weixin_49001740的博客
04-29 3373
hadoop集群搭建基础准备
CentOS7搭建hadoop集群
浩瀚蓝天dep的博客
12-12 1万+
说明： 1.准备三台虚拟机，参考：CentOS7集群环境搭建(以3台为例) 2.配置虚拟机间免密登陆：参考：CentOS7集群配置免密登录 3.虚拟机分别安装jdk：参考：CentOS7集群安装JDK1.8 准备开始搭建hadoop集群，以下操作在第一台机器node1执行： 1.上传并解压hadoop安装包 1.1上传安装包到/develop/software mkdir -p /develop/software mkdir -p /devel...
大数据平台搭建——hadoop集群（基于CentOS-7）的搭建_基于centos hadoop搭建
最新发布
2401_84181058的博客
04-13 869
外链图片转存中…(img-UUKIjs9E-1713021733510)][外链图片转存中…(img-PMeXDMXX-1713021733511)][外链图片转存中…(img-7Mj1oH3w-1713021733511)]
超详细版本|Linux Centos7从零搭建Hadoop集群及运行MapReduce分布式集群案例(全网最详细教程！)
未来社会二十年发展的核心技术趋势由ABCD四个字母组成，分别是AI（人工智能）、BlockChain（区块链）、Cloud（云）、和Data（大数据）每一次进步都有新的认知和感触
11-20 8553
花了快2小时的超详细版本的Linux从零搭建Hadoop集群(CentOS7+hadoop 3.2.0+JDK1.8+Mapreduce完全分布式集群案例+详细源码图文讲解)终于整理完成了！里面有详细的代码讲解及图文操作，能够更好的帮助大家搭建，希望此教程对各位有所帮助，这些都已经试过水了，各位环境配置和操作没问题的话，基本都能部署完成，我这里部署了一个从机node1节点，可以根据自己需要增加3台或者更多node节点，节点配置信息修改的操作都是一样的。祝各位部署一切顺利！
CentOS7安装Hadoop集群完整步骤
weixin_55076626的博客
05-26 1万+
1. 安装3台centos7服务器 1.1.配置名字hadoop01\hadoop02\hadoop03 hostnamectl set-hostname hadoop01 hostnamectl set-hostname hadoop02 hostnamectl set-hostname hadoop03 1.2.修改hosts文件 vi /etc/hosts 文件末尾添加以下内容： hadoop01的ip地址 hadoop01 hadoop02的ip地址 hadoop02 ha
Hadoop-3.3.0-Centos7安装详解
Chinese_chen_的博客
03-14 1196
这里是将JDK添加到user_hbase用户的环境变量中，执行“vi ~/.bash_profile”命令，打开.bash_profile文件，在文件底部添加如下内容即可。配置IP映射，将三台虚拟机的IP地址与对应的主机名进行映射，便于后续可以直接通过主机名访问对应的主机，这里以虚拟机node1为例，具体操作步骤如下。将公钥拷贝到需要关联的虚拟机上（即node1、node2、node3），根据提示输入“yes”和node2主机的密码123456。执行“ssh node2”命令，验证免密登录是否成功。
基于centos的大数据hadoop集群搭建说明文档
10-30
基于CentOS搭建Hadoop集群是常见的实践，下面将逐步指导你完成这一过程。 **1. 准备工作** 在开始搭建之前，你需要准备以下软件和环境： - VMware Workstation：用于创建虚拟机环境 - CentOS-6.9-x86_64-bin-DVD1....
centos6.8搭建hadoop集群
01-07
1.准备一台干净的centos6.8虚拟机 2.关闭防火墙 1.临时关闭防火墙 service iptables stop 2.关闭防火墙自启动 chkconfig iptables off 3.查看防火墙状态 service iptables status 3.设置静态ip vim /etc/...
CentOS7搭建Hadoop集群
01-07
1. 前置准备 1.准备三台虚拟机 – node-1 (主节点) , node-2, node-3 2.JDK环境 3.修改主机名称 hostnamectl set-hostname node-1 ...修改etc/hadoop/hadoop-env.sh vi hadoop-env.sh export JAVA_HO
CentOs系统hadoop集群搭建配置步骤
04-28
CentOs系统下Hadoop集群式搭建配置步骤，一步步带你搭建分布式Hadoop
CentOS上搭建Hadoop2.5.2_CentOS搭建hadoop_云计算_源码
10-01
在搭建Hadoop 2.5.2环境的过程中，选择CentOS作为操作系统是一个常见的选择，因为其稳定性和与开源软件的良好兼容性。以下是基于CentOS 7.0搭建Hadoop 2.5.2的详细步骤，以及涉及的相关知识点： 1. **系统准备**： ...
CentOS8 安装 hadoop3.2.1 完全分布式集群
05-20 3448
下载地址： https://hadoop.apache.org/releases.html 上传并解压 文档地址： https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetup.html 一、准备工作 1.设置机器名及对应IP，CentOS8 修改主机名，配置对应IP 2.安装配置jdk8+，CentOS8 安装JDK8 jdk-8u192-linux-x64.tar.gz 3..
CentOS 7.9 系统搭建 Hadoop 集群
花落花开的博客
03-18 4382
安装环境 虚拟软件：VMware® Workstation 16 Pro 虚拟机操作系统：CentOS 7.9-Minimal 虚拟机 IP：192.168.153.11、192.168.153.12、192.168.153.13 前期规划 Hadoop 集群包含两个集群：HDFS 集群、YARN 集群，两个集群在逻辑上分离，但通常会共用主机。 两个集群都是标准的主从架构集群。 HDFS 集群包含的角色（守护进程）： 主角色：NameNode 从角色：DataNode 主角色辅助角色：SecondaryN
Centos7安装部署Hadoop集群
xixixilalalahaha的博客
06-06 1002
简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽
CentOS7搭建Hadoop集群的详细操作流程
weixin_46128342的博客
04-06 7706
CentOS7搭建Hadoop集群的详细操作流程 一、准备工作 若还没安装虚拟机可参考：VMVMware14虚拟机安装程 没安装CentOS的可参考：Linux CentOS安装教程 Haddop的下载可以到https://mirrors.cnnic.cn/apache/hadoop/common/这个网址下载，下载的时候版本是选择Hadoop2.x.版本。格式文件选择hadoop-2.x.y....
Hadoop集群搭建_centos8虚拟机安装
weixin_44909514的博客
03-30 2200
一、通过VMware准备好三台centos8.0虚拟机 第一步： 第二步： 第三步： 第四步(选择之前准备好的centos8镜像)： 第五步： 第六步： 第七步： 第八步: 第九步： 第十步： 第十一步： 第十二步： 第十三步： 第十四步： 第十五步：若需修改，可在此进行编辑虚拟机配置 第十六步： ...
CentOS7下搭建Hadoop2.9.1完全分布式集群过程（超详细）
wenpan的博客
10-24 1万+
  Hadoop 集群搭建   本文主要对完全分布式Hadoop集群环境的安装与配置步骤进行介绍。 使用VMware Workstation Pro 14.0、CentOS7和Hadoop2.9.1      集群的节点规划信息如下：   Host Name IP Address Node Type User ...
Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0)
热门推荐
pucao_cug的专栏
05-11 11万+
Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0) 版本：CentOS7 Hadoop2.8.0 JDK1.8
centos的hadoop集群搭建
11-28
以下是CentOS的Hadoop集群搭建步骤： 1.下载Hadoop压缩包并解压到/opt/software/目录下。 2.修改Hadoop的四个配置文件：core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml。这些文件位于Hadoop解压后的文件夹中的/etc/hadoop/目录下。具体修改方法可以参考Hadoop官方文档。 3.在所有节点上创建Hadoop用户，并设置密码。 4.在所有节点上配置SSH免密登录。 5.在所有节点上配置Java环境变量。 6.在NameNode节点上执行以下命令进行格式化： ```shell ./hdfs namenode -format ``` 如果出现“successfully formatted”表示成功。如果没有成功，可以检查并修改出错的配置文件，并将特定的配置文件传递给其他节点。然后删除所有节点上的HDFS中的name和data文件夹： ```shell cd /opt/software/hadoop-2.6.5 rm -rf hdfs/ ``` 7.启动Hadoop集群： ```shell ./start-all.sh ``` 8.检查Hadoop集群是否正常工作： ```shell jps ``` 如果输出中包含NameNode、DataNode、ResourceManager和NodeManager等进程，则表示Hadoop集群已经成功搭建。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

iFulling

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值