CentOS7下搭建Hadoop(3.3.1)集群

已于 2022-09-13 19:59:11 修改
阅读量742 收藏 4
点赞数 2
分类专栏： 大数据开发 文章标签： linux centos hadoop
于 2022-08-11 14:38:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43747691/article/details/126284732
版权

文章目录

1、前期准备

（1）虚拟机工具：VMware或者Win10专业版自带的Hyper-V管理器

（2）虚拟机系统：Centos7

（3）远程连接工具：Final Shell

（4）集群规划

主机ip（示例）角色
node01192.168.0.101NameNode、DataNode、ResourceManager、NodeManager
node02192.168.0.102SecondaryNameNode、DataNode、NodeManager
node03192.168.0.103DataNode、NodeManager

2、环境搭建

一、配置host（三台机器）
# 设置主机名
hostnamectl set-hostname node01

# hosts映射
vi /etc/hosts

192.168.0.101 node01
192.168.0.102 node02
192.168.0.103 node03
二、关闭防火墙（三台机器）
# 查看防火墙状态
firewall-cmd --state
# 停止firewalld服务
systemctl stop firewalld.service
# 开机禁用firewalld服务
systemctl disable firewalld.service
三、ssh免密登录

注：只需要配置node1至node1、node2、node3即可

#node1生成公钥私钥 (一路回车)
ssh-keygen 

#node1配置免密登录到node1 node2 node3
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3
四、集群时间同步（三台机器）
yum install ntpdate
# 网络时间同步
ntpdate ntp5.aliyun.com
五、创建统一工作目录（三台机器）
# 软件安装路径
mkdir -p /export/server/
# 数据存储路径
mkdir -p /export/data/
# 安装包存放路径
mkdir -p /export/software/
六、安装Java JDK

注：可安装一台机器，后分安装包同步到其他两台机器

# 分发示例
scp -r jdk1.8.0_141 root@node2:$PWD 

cd /export/server

# wget下载
wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u141-b15/336fa29ff2bb4ef291e347e091f7f4a7/jdk-8u141-linux-x64.tar.gz"

# 解压
tar -zxvf jdk-8u141-linux-x64.tar.gz
# 删除压缩包
rm -rf jdk-8u141-linux-x64.tar.gz

# 编辑配置文件
vi /etc/profile

export JAVA_HOME=/export/server/jdk1.8.0_141
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH

# 配置文件生效
source /etc/profile

# 检查是否成功
java -version
七、安装Hadoop

注：安装同上，分发同步安装包

cd /export/server

# wget下载
wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "https://dlcdn.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz"

# 解压
tar -zxvf hadoop-3.3.1.tar.gz
# 删除压缩包
rm -rf hadoop-3.3.1.tar.gz

# 编辑配置文件
vi /etc/profile

export HADOOP_HOME=/export/server/hadoop-3.3.1
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

# 配置文件生效
source /etc/profile

# 检查是否成功
hadoop version
八、修改配置文件
cd /export/server/hadoop-3.3.1/etc/hadoop

# 1、
vi hadoop-env.sh
# 文本末添加
export JAVA_HOME=/export/server/jdk1.8.0_241

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root 

# 2、核心模块配置文件
vi core-site.xml

<!-- 设置默认使用的文件系统 Hadoop支持file、HDFS、GFS、ali|Amazon云等文件系统 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://node01:8020</value>
</property>

<!-- 设置Hadoop本地保存数据路径 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/export/data/hadoop-3.3.1</value>
</property>

<!-- 设置HDFS web UI用户身份 -->
<property>
    <name>hadoop.http.staticuser.user</name>
    <value>root</value>
</property>

<!-- 整合hive 用户代理设置 -->
<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>

<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>

<!-- 文件系统垃圾桶保存时间 -->
<property>
    <name>fs.trash.interval</name>
    <value>1440</value>
</property>

# 3、hdfs文件系统模块配置
vi hdfs-site.xml

<!-- 设置SNN进程运行机器位置信息 -->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>node02:9868</value>
</property>

# 4、MapReduce模块配置
vi mapred-site.xml

<!-- 设置MR程序默认运行模式： yarn集群模式 local本地模式 -->
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

<!-- MR程序历史服务地址 -->
<property>
  <name>mapreduce.jobhistory.address</name>
  <value>node01:10020</value>
</property>
 
<!-- MR程序历史服务器web端地址 -->
<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>node01:19888</value>
</property>

<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

# 5、yarn模块配置
vi yarn-site.xml

<!-- 设置YARN集群主角色运行机器位置 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>node01</value>
</property>

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<!-- 是否将对容器实施物理内存限制 -->
<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>

<!-- 是否将对容器实施虚拟内存限制。 -->
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

<!-- 开启日志聚集 -->
<property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
</property>

<!-- 设置yarn历史服务器地址 -->
<property>
    <name>yarn.log.server.url</name>
    <value>http://node01:19888/jobhistory/logs</value>
</property>

<!-- 历史日志保存的时间 7天 -->
<property>
  <name>yarn.log-aggregation.retain-seconds</name>
  <value>604800</value>
</property>

# 6、workers

vi workers

node01
node02
node03
九、启动集群
# 三台虚拟机先进行格式化（只需首次启动时执行）
hdfs namenode -format

# 成功信息：common.Storage: Storage directory /export/data/hadoop-3.3.1/dfs/name has been successfully formatted.


[root@node01 ~]# start-dfs.sh
Starting namenodes on [node01]
上一次登录：四 8月 11 10:26:32 CST 2022pts/0 上
Starting datanodes
上一次登录：四 8月 11 11:12:55 CST 2022pts/0 上
Starting secondary namenodes [node02]
上一次登录：四 8月 11 11:12:58 CST 2022pts/0 上

[root@node01 ~]# start-yarn.sh
Starting resourcemanager
上一次登录：四 8月 11 11:13:04 CST 2022pts/0 上
Starting nodemanagers
上一次登录：四 8月 11 11:15:41 CST 2022pts/0 上


[root@node01 ~]# jps
4672 NameNode
5696 Jps
4809 DataNode
5226 ResourceManager
5357 NodeManager


[root@node02 hadoop]# jps
2500 Jps
2279 SecondaryNameNode
2408 NodeManager
2205 DataNode


[root@node03 ~]# jps
4772 NodeManager
2423 DataNode
4862 Jps

Web UI页面

  • HDFS集群：http://node1:9870/
  • YARN集群：http://node1:8088/
AltmanChan
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CentOS7搭建Hadoop集群
01-07
1. 前置准备 1.准备三台虚拟机 – node-1 (主节点) , node-2, node-3 2.JDK环境 3.修改主机名称 hostnamectl set-hostname node-1 vi /etc/hosts 192.168.25.111 node-1 192.168.25.112 node-2 192.168.25.113 node-3 4.SSH免密登录 ssh-keygen ssh-copy-id node-1 2. 配置文件 2.1 修改配置文件 修改etc/hadoop/hadoop-env.sh vi hadoop-env.sh export JAVA_HO
Hadoop3.3.1编译安装部署教程
程序园@大Null
01-14 1922
Hadoop编译安装、Hadoop3.x安装部署、Hadoop3.x环境准备、 创建用户、免密登录、安装部署、集群基本测试、历史服务器，日志聚集，常用命令，群起脚本、防火墙关闭命令
Centos7上Hadoop 3.3.1的高可用HA安装过程
Bulut0907
07-21 3173
目录1. 安装要求2. 下载(在clickhouse1操作)3. 配置文件修改(在clickhouse1操作)3.1 hadoop-env.sh3.2 core-site.xml3.3 hdfs-site.xml3.4 mapred-site.xml3.5 yarn-site.xml3.6 修改workers文件4. hadoop目录分发（在clickhouse1操作)5. 初始化和启动（在clickhouse1操作)5.1 HDFS5.2 YARN 1. 安装要求 至少3台服务器，本示例3台服务器的ho
Hadoop3.3.1完全分布式安装Centos7.x
Dashujuzhiwang的博客
03-13 1289
需要把所有数据节点的主机名写入该文件，每行一个，默认为 localhost（即把本机作为数据节点），所以，在伪分布式配置时，就采用了这种默认的配置，使得节点既作为名称节点也作为数据节点。在进行分布式配置时，可以保留localhost，让Master节点同时充当名称节点和数据节点，或者也可以删掉localhost这行，让Master节点仅作为名称节点使用。但是，本教程只有一个Slave节点作为数据节点，即集群中只有一个数据节点，数据只能保存一份，所以 ，dfs.replication的值还是设置为 1。
Hadoop3.3.1分布式集群搭建详细教程
忘三日的博客
02-24 2495
Hadoop3.3.1分布式集群搭建详细教程，简单零基础一站式搭建
一、CentOS7 hadoop3.3.1安装(单机分布式、伪分布式、分布式)
m0_52426915的博客
10-13 1769
前言 官方镜像下载地址: Centos，hadoop，Java Centos为CentOS-7-x86_64-DVD-2009 Hadoop为hadoop-3.3.0.tar.gz Java为jdk-8u301-linux-x64.tar.gz PS：Hadoop3.X Java最低版本为1.8 纯原生态安装，非CDH和HDP，或是Ambari 预先设置 修改主机名 修改 /etc/sysconfig/network中的hostname vi /etc/sysconfig/network中的hostname
centos7中进行hadoop搭建全过程
m0_54501766的博客
08-13 410
1.安装模版虚拟机,(以下地址均为实例,具体情况具体应用)IP地址192.168.10.100,主机名称hadoop100,内存4G,硬盘50G2.配置要求1)确认虚拟机联网,ping www.baidu.com试试,ping的同即可2)安装epel-release。
CentOS7中安装Hadoop3详细步骤
Helen_1997_1997的博客
02-02 1688
CentOS7中安装Hadoop3详细步骤
centos6.8搭建hadoop集群
01-07
1.准备一台干净的centos6.8虚拟机 2.关闭防火墙 1.临时关闭防火墙 service iptables stop 2.关闭防火墙自启动 chkconfig iptables off 3.查看防火墙状态 service iptables status 3.设置静态ip vim /etc/...
CentOS 7下搭建高可用集群
01-09
本文以两台机器实现双集热备高可用集群，主机名node1的IP为192.168.122.168 ，主机名node2的IP为192.168.122.169 。 　一、安装集群软件 　必须软件pcs，pacemaker，corosync，fence-agents-all，如果需要配置相关...
基于centos的大数据hadoop集群搭建说明文档
10-30
适用于初学者徒手搭建hadoop集群，文档细致，完全傻瓜模式，非常好用
Centos7+hadoop2.6.0分布式集群搭建
01-21
Centos7上搭建hadoop2.6.0分布式系统，教程超详细! 搭建过程中如果有什么疑问可以邮我[email protected] 单机搭建伪分布式也适用！
大数据Hadoop(一)：集群搭建--Hadoop3.3.1、CentOS8、HDFS集群、YARN集群最新保姆级教程
prq740的博客
06-25 3283
大数据Hadoop3.3.1集群快速搭建，使用CentOS8，采用新软件新平台，做到短期内技术不被淘汰。
Centos7上Hadoop 3.3.1的分布式集群安装过程
Bulut0907
07-12 491
目录1. 集群规划2. 下载(在bigdata001操作)3. 配置文件修改(在bigdata001操作)3.1 hadoop-env.sh3.2 core-site.xml3.3 hdfs-site.xml3.4 mapred-site.xml3.5 yarn-site.xml3.6 修改workers文件4. hadoop目录分发（在bigdata001操作)5. 初始化和启动（在bigdata001操作)5.1 添加环境变量5.2 HDFS5.3 YARN 1. 集群规划 每台服务器相互设置ssh无
Hbase3.0.0及Hadoop3.3.1集群搭建(一)
weixin_43114209的博客
05-11 5228
1.概述 HBase是Hadoop数据库，一种分布式、可扩展的大数据存储。当您需要对大数据进行随机、实时的读/写访问时，推荐使用HBase。该项目的目标是在商用硬件集群上托管非常大的表——数十亿行 X 数百万列。HBase 是一个开源、分布式、版本化、非关系型数据库，基于 Google 的Bigtable 等的结构化数据的分布式存储系统开发。正如 Bigtable 利用 Google 文件系统提供的分布式数据存储一样， HBase 在 Hadoop 和 HDFS 之上提供了类似 Bigtable 的功能。
Hadoop3.3.1详细教程（四）Linux集群搭建+免密登录
Java朱老师博客
08-23 1374
一、修改主机名 分别为hp2、hp3 二、设置静态IP地址 分别为192.168.150.12 192.168.150.13 三、设置免密登录 在hp1上，生成公钥私钥 ssh-keygen -t rsa 每出现一次提示：按一次回车。 会再~用户目录下创建一个.ssh的文件夹 其中id_rsa是私钥 id_rsa.pub是公钥 authorized_keys 批准（授权）的key，别的机器要免密登录本机，即把公钥ssh-copy-id到本机，即存在这里。 以下命令是将本机公钥拷贝到目标机器上 ssh
Hadoop-3.3-1安装与环境搭建
m0_56066168的博客
06-19 1100
一、安装Hadoop 下载地址： https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz 二、解压文件 1.解压文件 sudo tar -zxf ~/Downloads/hadoop-3.3.1.tar.gz -C /usr/local 2.修改文件名以及权限 cd /usr/local sudo mv ./hadoop-3.3.1 ./hadoop sudo chown -R y ./had
hadoop3.3.1集群搭建
weixin_38751513的博客
01-13 909
hadoop
Linux多进程(五) 进程池 C++实现
最新发布
Lyajpunov的博客
04-26 578
进程池是一种并发编程模式，用于管理和重用多个处理任务的进程。它通常用于需要频繁创建和销毁进程的情况，以避免因此产生的开销。减少进程创建销毁的开销：避免频繁创建和销毁进程所带来的系统资源开销。提高系统响应速度：由于进程已经初始化并且一直保持在内存中，可以立即分配执行任务，减少了任务等待时间。控制资源使用：通过限制进程池中的进程数量，可以控制系统资源的使用情况，避免资源过度消耗。
centos7 快速搭建hadoop集群脚本
05-19
以下是一个简单的脚本，可以快速在 CentOS 7 上搭建 Hadoop 集群： ```bash #!/bin/bash # Hadoop Cluster Setup Script # Set hostname echo "Setting hostname..." hostnamectl set-hostname hadoop-master echo...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值