CentOS7 搭建Hadoop集群

已于 2024-01-12 10:36:54 修改
阅读量1.1k 收藏 26
点赞数 28
分类专栏： Hadoop linux 文章标签： hadoop 大数据 分布式
于 2024-01-12 10:30:34 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/qq_23502409/article/details/135545484
版权

1.环境准备

准备三台Linux（CentOS7）服务器

IP服务器名称
192.168.11.136Master
192.168.11.137Slave01
192.168.11.138Slave02

1.2修改配置文件

1.2.1修改hosts文件
# Master服务器
vi /etc/hosts

192.168.11.137 Slave01
192.168.11.138 Slave02
192.168.11.136 Master

# Slave01服务器
vi /etc/hosts

192.168.11.138 Slave02
192.168.11.136 Master

# Slave02服务器
vi /etc/hosts

192.168.11.137 Slave01
192.168.11.136 Master

# 测试host连接(去不同服务器上测试相互是否能连接通)
ping Slave01 -c 3
1.2.2 SSH远程登录配置

让 Master 节点可以无密码 SSH 登陆到各个 Slave 节点上

# 以下全是Master服务器执行：
# 如果没有该目录，先执行一次ssh localhost
cd ~/.ssh
# 删除之前生成的公匙（如果有）
rm ./id_rsa*
# 创建秘钥（一直按回车就可以）
ssh-keygen -t rsa
# 秘钥写入authorized_keys
cat ~/.ssh/id_rsa.pub >> ./authorized_keys
# 测试免密码登录本机，第一次可能需要输入yes
ssh Master
# 将Master节点的秘钥传给Slave节点（使用root用户，传递id_rsa.pub文件到Slave01和Slave02的/root/hadoop目录下）
scp ~/.ssh/id_rsa.pub root@Slave01:/root/hadoop/
scp ~/.ssh/id_rsa.pub root@Slave02:/root/hadoop/

# 切换Slave01服务器
cat /root/hadoop/id_rsa.pub >> ~/.ssh/authorized_keys
# 切换Slave02服务器
cat /root/hadoop/id_rsa.pub >> ~/.ssh/authorized_keys

# 切换回Master服务器测试连接
ssh Slave01
ssh Slave02
1.2.3 JDK安装

Hadoop Java版本对应：
Hadoop Java Versions - Hadoop - Apache Software Foundation
本文采用的是yum安装（不推荐yum安装JDK，没有JPS等工具，并且JDK安装目录比较难找。）在这里插入图片描述

# Master服务器：
yum install java-1.8.0-openjdk.x86_64
# 验证安装
java -version
# 切换到Slave01服务器，安装JDK
ssh Slave01
yum install java-1.8.0-openjdk.x86_64
java -version
# 退出Slave01服务器，返回Master服务器
exit
# 切换到Slave02服务器，安装JDK
ssh Slave02
yum install java-1.8.0-openjdk.x86_64
java -version
exit

# 因为yum安装的openjdk没有jps等工具，后续会经常用到，所以自行安装一下（每个服务器都安装一下）
yum install -y  java-1.8.0-openjdk-devel

# 配置JAVA_HOME
# yum安装的jdk需要自己找一下安装目录
which java
# 结果：/usr/bin/java
ls -lr /usr/bin/java
# 结果：lrwxrwxrwx. 1 root root 22 Nov 18 14:48 /usr/bin/java -> /etc/alternatives/java
ls -lrt /etc/alternatives/java
# 结果：lrwxrwxrwx. 1 root root 73 Nov 18 14:48 /etc/alternatives/java -> /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.352.b08-2.el7_9.x86_64/jre/bin/java
# 最终安装目录: 
# /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.352.b08-2.el7_9.x86_64/jre/bin/java
# 验证安装目录是否正确
/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.352.b08-2.el7_9.x86_64/jre/bin/java -version
# 输出版本号即正确

# 设置JAVA_HOME
vi /etc/profile
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.352.b08-2.el7_9.x86_64
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
source /etc/profile
# 验证一下
java -version
echo $JAVA_HOME

2.安装Hadoop

下载地址：Apache Hadoop

# Master服务器：
cd /root/hadoop # 没有目录自己创建一下，三台服务器都放在这个目录下
# 下载包
wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz --no-check-certificate
# 解压包
tar -xzvf /root/hadoop/hadoop-3.3.4.tar.gz
# 修改环境变量
vi /etc/profile
export HADOOP_HOME=/root/hadoop/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
# 设置Hadoop的JAVA_HOME
vi /root/hadoop/hadoop-3.3.4/etc/hadoop/hadoop-env.sh
# 添加以下配置: 
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.352.b08-2.el7_9.x86_64 # 上面配置JAVA_HOME的时候配置过
export HADOOP_PID_DIR=/root/hadoop/tmp
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
# 验证
hadoop version

2.1 配置Hadoop环境

# 创建临时文件目录
mkdir -p /root/hadoop/tmp
cd /root/hadoop/hadoop-3.3.4

修改配置：

vi etc/hadoop/core-site.xml

<configuration>
  <property>
    <!-- namenode -->
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
  <property>
    <!-- 配置临时文件目录 -->
    <name>hadoop.tmp.dir</name>
    <value>/root/hadoop/tmp</value>
  </property>
  <property>
    <!-- 设置data存放路径 -->
    <name>hadoop.data.dir</name>
    <value>/opt/data/hadoop/data</value>
  </property>
</configuration>

修改hdfs配置

vi etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <!-- 副本数量配置 -->
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <!-- 哪台虚拟机作为namenode节点 -->
        <name>dfs.namenode.http-address</name>
        <value>master:50070</value>
    </property>
    <property>
        <!-- 哪台虚拟机作为冷备份namenode节点，用于辅助namenode -->
        <name>dfs.namenode.secondary.http-address</name>
        <value>slave01:50090</value>
    </property>
</configuration>

修改mapreduce配置：

vi etc/hadoop/mapred-site.xml

<configuration>
    <!-- 使用yarn来做任务调度 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>  
    </property>
</configuration>

修改yarn配置

vi etc/hadoop/yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <!-- 配置yarn启动的主机名，也就是说配置在哪台虚拟机上就在那台虚拟机上进行启动 -->
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
    <property>
        <name>yarn.application.classpath</name>
        <value>
            /root/hadoop/hadoop-3.3.4/etc/hadoop:/root/hadoop/hadoop-3.3.4/share/hadoop/common/lib/*:/root/hadoop/hadoop-3.3.4/share/hadoop/common/*:/root/hadoop/hadoop-3.3.4/share/hadoop/hdfs:/root/hadoop/hadoop-3.3.4/share/hadoop/hdfs/lib/*:/root/hadoop/hadoop-3.3.4/share/hadoop/hdfs/*:/root/hadoop/hadoop-3.3.4/share/hadoop/mapreduce/lib/*:/root/hadoop/hadoop-3.3.4/share/hadoop/mapreduce/*:/root/hadoop/hadoop-3.3.4/share/hadoop/yarn:/root/hadoop/hadoop-3.3.4/share/hadoop/yarn/lib/*:/root/hadoop/hadoop-3.3.4/share/hadoop/yarn/*
        </value>
    </property>
</configuration>

修改工作节点：

vi etc/hadoop/workers

master
slave01
slave02

2.2 配置同步到Slave节点

# Master服务器，hadoop文件同步到Slave节点
scp -r /root/hadoop/hadoop-3.3.4 slave01:/root/hadoop/
scp -r /root/hadoop/hadoop-3.3.4 slave01:/root/hadoop/

# Master服务器，hadoop配置同步到Slave节点
scp -r /etc/profile slave01:/etc
scp -r /etc/profile slave02:/etc

# 连接Slave节点，测试
ssh slave01
source /etc/profile
hadoop version
exit
ssh slave02
source /etc/profile
hadoop version
exit

2.3 启动Hadoop集群

# NameNode格式化（如果配置环境变量，就不需要进入bin或sbin目录）
hdfs namenode -format

# 启动
/root/hadoop/hadoop-3.3.4/sbin/start-dfs.sh

2.4 访问Hadoop集群

http://192.168.11.136:50070/dfshealth.html#tab-overview

更多文章请扫码关注公众号，有问题的小伙伴也可以在公众号上提出。
请添加图片描述

Denny辉
关注
  • 28
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop架构介绍——Hadoop的三种运行模式
11-10 9530
三种模式 单机模式 伪分布式模式 完全分布式模式 单机模式 1.默认模式 2.不对配置文件进行修改 3.使用本地文件系统 4.Hadoop不会启动NameNode、DataNode、JobTracker、TaskTracker等守护进程 5.用于对MapReduce程序的逻辑进行调试 伪分布式模式 1.在一台主机模拟多主机 2.每个守护进程都以Java进程的
Centos 7.0 下hadoop集群模式安装（以3个节点为例，master,slave1,slave2）超详细
MrCat的博客
06-16 6160
构建由3台PC机构成的hadoop集群环境，安装完成后使用HDFS、Mapreduce、Hbase等完成一些小例子。
CentOS6.5mini版hadoop集群搭建流程
10-13
CentOS6.5mini版hadoop集群搭建流程，内容比较简洁明了。
CentOS7搭建Hadoop集群
01-07
1. 前置准备 1.准备三台虚拟机 – node-1 (主节点) , node-2, node-3 2.JDK环境 3.修改主机名称 hostnamectl set-hostname node-1 vi /etc/hosts 192.168.25.111 node-1 192.168.25.112 node-2 192.168.25.113 node-3 4.SSH免密登录 ssh-keygen ssh-copy-id node-1 2. 配置文件 2.1 修改配置文件 修改etc/hadoop/hadoop-env.sh vi hadoop-env.sh export JAVA_HO
基于centos的大数据hadoop集群搭建说明文档
10-30
适用于初学者徒手搭建hadoop集群，文档细致，完全傻瓜模式，非常好用
hadoop集群搭建_centos7配置静态IP
01-07
1.网络配置 设为NAT模式 虚拟机中选中节点,设置–>虚拟机设置—>网络适配器—>NAT模式 2.网络配置 打开虚拟机 ,选中需要修改的节点,步骤如下: 编辑—>虚拟网络编辑器—>VMnet8(NAT模式)—>移除网络—>添加网络(VMnet8)—>NAT模式 (移除网络是为了在“添加网络”时进行重新分配网段) 新的网关IP(静态IP设置时需要用到) 2.静态 IP设置 centos7下,roo用户进行如下操作: 查看现有配置文件 本次需要修改ifcfg-ens33(其他系统可能稍有区别,比如ifcfg-ens) vim ifcfg-ens33 重启网络服务: 如果是集群配置,其
CentOS7搭建Hadoop集群环境
L_zzwwen的博客
04-05 1376
本文章为云计算课程实验总结。 前言 CentOS7虚拟机搭建hadoop集群，共3个节点：master、slave1、slave2 软件：java1.8 hadoop2.6.0 3台虚拟机都装有CentOS7(最小化安装)系统，一台机命名为 master 作为 namenode，另两台为slave1和slave2，作为 datanode。 虚拟机配置 用户名 ...
CentOS 7 搭建Hadoop 3.x 集群
Masli的博客
01-14 238
参考文档：https://blog.csdn.net/u013457387/article/details/87856770 我就是参考上面的教程来搭建的，非常感激 补充一下： 1，workers的设置 主节点的workers node200 node300 从节点的workers node100 node300 和 node100 node200 2，三个节点的core-site.xml都...
centos6.8搭建hadoop集群
01-07
1.准备一台干净的centos6.8虚拟机 2.关闭防火墙 1.临时关闭防火墙 service iptables stop 2.关闭防火墙自启动 chkconfig iptables off 3.查看防火墙状态 service iptables status 3.设置静态ip vim /etc/...
CentOS 7搭建hadoop集群（新手详细教程）-附件资源
03-05
CentOS 7搭建hadoop集群（新手详细教程）-附件资源
CentOS 7 虚拟机 Hadoop 集群环境搭建
叶涟风不息
09-18 1957
使用虚拟机安装 Linux 系统、Java、Hadoop，配置运行环境，搭建本地、伪分布式、完全分布式的 Hadoop 运行环境
hadoop集群搭建之Centos7虚拟机安装和网络配置
u010628753的博客
09-27 373
（1）打开VMware选择新建虚拟机（2）典型安装与自定义安装典型安装：VMware会将主流的配置应用在虚拟机的操作系统上，对于新手来很友好。自定义安装：自定义安装可以针对性的把一些资源加强，把不需要的资源移除。避免资源的浪费。这里我选择自定义安装。（3）虚拟机兼容性选择这里要注意兼容性，如果是VMware12创建的虚拟机复制到VM11、10或者更低的版本会出现一不兼容的现象。如果是用VMware10创建的虚拟机在VMware12中打开则不会出现兼容性问题。（4）选择稍后安装操作系统。
[超超超超超超详细] Linux Centos7搭建Hadoop集群及运行MapReduce分布式集群
apple_51319648的博客
01-08 1143
版本：Centos 7 Hadoop 3.2.0 JDK 1.8虚拟机信息：内存3.2G 处理器 2*2 内存50G。
大数据平台搭建——hadoop集群（基于CentOS-7）的搭建
m0_73509128的博客
08-13 5503
本次hadoop集群搭建的虚拟机采用的软件为VMware Workstation Pro，用的镜像文件为CentOS-7，此篇文章是为自己准备大数据比赛中的大数据平台搭建部分所写，故只针对搭建hadoop集群搭建的部分进行概述，前绪工作包括虚拟机的搭建读者可以阅读下面的文章自行进行安装。将主机上的hadoop文件传输到副机上去，这里可以先新建两个虚拟机并且和前面一样配置好相关信息，再在终端中输入：scp -r 源hadoop文件路径 机器用户名：目标路径位置后，即可传输，比较麻烦，
CentOS7安装Hadoop集群完整步骤
热门推荐
weixin_55076626的博客
05-26 1万+
1. 安装3台centos7服务器 1.1.配置名字hadoop01\hadoop02\hadoop03 hostnamectl set-hostname hadoop01 hostnamectl set-hostname hadoop02 hostnamectl set-hostname hadoop03 1.2.修改hosts文件 vi /etc/hosts 文件末尾添加以下内容： hadoop01的ip地址 hadoop01 hadoop02的ip地址 hadoop02 ha
计算机毕业设计Hadoop+Hive地震预测系统 地震数据分析可视化 地震爬虫 大数据毕业设计 Spark 机器学习 深度学习 Flink 大数据
从业计算机毕业设计10年，打算用一年时间分享10年毕设经验！
06-13 1226
计算机毕业设计Hadoop+Hive地震预测系统 地震数据分析可视化 地震爬虫 大数据毕业设计 Spark 机器学习 深度学习 Flink 大数据
hadoop-cos
zhixingheyi_tian的博客
06-13 145
【代码】hadoop-cos。
Hadoop+Spark大数据技术（微课版）总复习
最新发布
qq_64684039的博客
06-16 1782
Hadoop+Spark大数据技术（微课版）总复习
java技术专家面试指南80问【java学习+面试宝典】（七）
fengbeely的博客
06-15 1222
索引是一种数据结构,可以帮助我们快速的进行数据的查找。在Java中，可以将一个类的定义放在另外一个类的定义内部，这就是 内部类。内部类本身就是类的一个属性，与其他属性定义方式一致。1）计算机体系结构是指那些能够被程序员看到的计算机的属性。如指令集、数据类型等；2）计算机组成是指如何实现计算机体系结构所体现出来的属性；3）以乘法指令为例，计算机是否有乘法指令，属于体系结构的问题。乘法指令是采用专用的乘法器，还是使用加法器和移位器构成，属于计算机组成的问题。1.mycat的全局id方案。
centos7上hadoop集群搭建
04-08
在CentOS7中搭建Hadoop集群的步骤如下： 1.安装Java和SSH 2.下载Hadoop并解压 3.配置Hadoop环境变量 4.设置主机名和IP地址 5.配置Hadoop的核心文件中的配置项 6.设置Hadoop的工作目录和存储目录 7.启动Hadoop服务 8.测试Hadoop集群的功能 这是搭建Hadoop集群的基本步骤，需要注意的是，每个步骤都要仔细进行，避免出现错误。如果您不熟悉Hadoop的操作，请先学习相关知识再进行操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值