Hadoop集群搭建

已于 2023-02-17 15:47:57 修改
阅读量132 收藏
点赞数
文章标签： hadoop linux 大数据
于 2023-02-17 15:24:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_69473885/article/details/129087836
版权

Hadoop集群搭建

准备工作：三个Centos7系统（Xshell、Xftp）

编译环境软件安装目录

mkdir -p /export/server
一、编译安装（有现成镜像的可以不安装）
  • 安装编译相关的依赖
    yum install gcc gcc-c++ make autoconf automake libtool curl lzo-devel zlib-devel openssl openssl-devel ncurses-devel snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop libXtst zlib -y

yum install -y doxygen cyrus-sasl* saslwrapper-devel*
  • 安装配置JDK 1.8

↓↓↓↓↓↓↓↓↓↓jdk-8u241-linux-x64.tar.gz压缩包↓↓↓↓↓↓↓↓
链接：https://pan.baidu.com/s/1v9FEMxmVDwAX4v9Tf9v9Ww
提取码：5269

#解压安装包
tar zxvf jdk-8u65-linux-x64.tar.gz

#配置环境变量
vim /etc/profile

export JAVA_HOME=/export/server/jdk1.8.0_241
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

source /etc/profile

#验证是否安装成功
java -version

java version "1.8.0_241"
Java(TM) SE Runtime Environment (build 1.8.0_241-b07)
Java HotSpot(TM) 64-Bit Server VM (build 25.241-b07, mixed mode)
二、集群配置
1、查看主机名
cat /etc/hostname

这里使用的Xshell7操作

2、修改主机名称(区分主机名称的情况下跳过)
  • 切换root权限（修改主机名称需要root权限）
su

登录到root账户权限

  • 修改主机名称
vim /etc/hostname

修改主机名称

3、配置hosts映射
  • centos7配置
vim /etc/hosts

#这里只做示例，真实IP按照服务器配置
192.168.211.129 hadoop1.itcast.cn hadoop1
192.168.211.130 hadoop2.itcast.cn hadoop2
192.168.211.131 hadoop3.itcast.cn hadoop3

配置hosts映射

  • Windows11配置

文件夹跳转到hosts路径下 C:\Windows\System32\drivers\etc

找到本机电脑的hosts文件所在目录

修改配置参数

配置hosts映射

复制回 C:\Windows\System32\drivers\etc 路径下

替换文件！果断！

4、以下复制执行

集群时间同步（3台）——> 防火墙关闭（3台）——> ssh免密登录（只需要配置node1至node1、node2、node3即可）

# 集群时间同步
ntpdate ntp5.aliyun.com

# 防火墙关闭
firewall-cmd --state	#查看防火墙状态
systemctl stop firewalld.service  #停止firewalld服务
systemctl disable firewalld.service  #开机禁用firewalld服务

# ssh免密登录（只需要配置node1至node1、node2、node3即可）

	#node1生成公钥私钥 (一路回车)
	ssh-keygen  
	
	#node1配置免密登录到node1 node2 node3
	ssh-copy-id hadoop1
	ssh-copy-id hadoop2
	ssh-copy-id hadoop3
三、Hadoop配置
1、上传Hadoop安装包到/export/server（3台机器）

↓↓↓↓↓↓↓↓↓↓hadoop-3.3.0-Centos7-64-with-snappy.tar压缩包↓↓↓↓↓↓↓↓
链接：https://pan.baidu.com/s/1v9FEMxmVDwAX4v9Tf9v9Ww
提取码：5269

#解压到当前目录下
tar zxvf hadoop-3.3.0-Centos7-64-with-snappy.tar.gz
2、修改配置文件(配置文件路径 hadoop-3.3.0/etc/hadoop)

  • hadoop-env.sh

    #文件最后添加
export JAVA_HOME=/export/server/jdk1.8.0_241

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

  • core-site.xml

    <!-- 设置默认使用的文件系统 Hadoop支持file、HDFS、GFS、ali|Amazon云等文件系统 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://node1:8020</value>
</property>

<!-- 设置Hadoop本地保存数据路径 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/export/data/hadoop-3.3.0</value>
</property>

<!-- 设置HDFS web UI用户身份 -->
<property>
    <name>hadoop.http.staticuser.user</name>
    <value>root</value>
</property>

<!-- 整合hive 用户代理设置 -->
<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>

<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>

<!-- 文件系统垃圾桶保存时间 -->
<property>
    <name>fs.trash.interval</name>
    <value>1440</value>
</property>

  • hdfs-site.xml

    <!-- 设置SNN进程运行机器位置信息 -->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>node2:9868</value>
</property>

  • mapred-site.xml

    <!-- 设置MR程序默认运行模式： yarn集群模式 local本地模式 -->
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

<!-- MR程序历史服务地址 -->
<property>
  <name>mapreduce.jobhistory.address</name>
  <value>node1:10020</value>
</property>
 
<!-- MR程序历史服务器web端地址 -->
<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>node1:19888</value>
</property>

<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

  • yarn-site.xml

    <!-- 设置YARN集群主角色运行机器位置 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>node1</value>
</property>

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<!-- 是否将对容器实施物理内存限制 -->
<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>

<!-- 是否将对容器实施虚拟内存限制。 -->
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

<!-- 开启日志聚集 -->
<property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
</property>

<!-- 设置yarn历史服务器地址 -->
<property>
    <name>yarn.log.server.url</name>
    <value>http://node1:19888/jobhistory/logs</value>
</property>

<!-- 历史日志保存的时间 7天 -->
<property>
  <name>yarn.log-aggregation.retain-seconds</name>
  <value>604800</value>
</property>

  • workers

    node1.itcast.cn
node2.itcast.cn
node3.itcast.cn

  • 分发同步hadoop安装包

    cd /export/server

scp -r hadoop-3.3.0 root@node2:$PWD
scp -r hadoop-3.3.0 root@node3:$PWD

  • 将hadoop添加到环境变量（3台机器）

    vim /etc/profile

export HADOOP_HOME=/export/server/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

  • Hadoop集群启动（node1主服务器执行）

    • （首次启动）格式化namenode

      hdfs namenode -format

    • 脚本一键启动

      #启动hdfs服务--对应是stop
[root@node1 ~]# start-dfs.sh 
Starting namenodes on [node1]
Last login: Thu Nov  5 10:44:10 CST 2020 on pts/0
Starting datanodes
Last login: Thu Nov  5 10:45:02 CST 2020 on pts/0
Starting secondary namenodes [node2]
Last login: Thu Nov  5 10:45:04 CST 2020 on pts/0

#启动yarn服务--对应是stop
[root@node1 ~]# start-yarn.sh 
Starting resourcemanager
Last login: Thu Nov  5 10:45:08 CST 2020 on pts/0
Starting nodemanagers
Last login: Thu Nov  5 10:45:44 CST 2020 on pts/0

#一键全部开启--对应是stop
[root@node1 ~]# start-all.sh
Starting namenodes on [node1]
Last login: Thu Nov  5 10:44:10 CST 2020 on pts/0
Starting datanodes
Last login: Thu Nov  5 10:45:02 CST 2020 on pts/0
Starting secondary namenodes [node2]
Last login: Thu Nov  5 10:45:04 CST 2020 on pts/0
Starting resourcemanager
Last login: Thu Nov  5 10:45:08 CST 2020 on pts/0
Starting nodemanagers
Last login: Thu Nov  5 10:45:44 CST 2020 on pts/0

    • Web UI页面

      • HDFS集群：http://node1:9870/
      • YARN集群：http://node1:8088/
麻猫虎子
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hadoop集群搭建(超级详细)
10-11
在大数据领域，Hadoop是一个广泛使用的开源框架，用于存储和处理海量数据。本文将详细讲解如何搭建一个...这个超详细的教程覆盖了从零开始到集群搭建完成的全过程，按照步骤执行，可以轻松掌握Hadoop集群搭建技术。
hadoop集群搭建文档资料
11-15
以上内容是Hadoop集群搭建的基础步骤和关键知识点，具体的实施过程中可能需要根据实际环境进行调整。提供的文档资料应详细记录了每一步的操作，帮助读者理解和实践Hadoop集群的搭建。通过这份文档，你可以学习到...
hadoop集群搭建教程
03-07
在虚拟机上面搭建hdfs 集群亲测可用 记得 修改ip地址就行
Hadoop集群搭建详细简明教程
05-16
本教程“Hadoop集群搭建详细简明教程”将带你逐步走进Hadoop的世界，了解并掌握如何构建一个高效稳定的Hadoop集群。 Hadoop是由Apache基金会开发的一个开源项目，其核心包括两个主要组件：Hadoop Distributed File ...
hadoop集群搭建步骤
01-10
该文档提供了linux环境中搭建hadoop集群（大数据）的步骤，个人认为比较详细，供大家学习
Hadoop 重要监控指标
weixin_41489908的博客
07-24 794
NameNode 指标：包括 NameNode 的状态、内存使用、文件系统操作等。DataNode 指标：包括 DataNode 的状态、磁盘使用、数据块操作等。ResourceManager 指标：包括 ResourceManager 的状态、应用程序队列、资源使用等。NodeManager 指标：包括 NodeManager 的状态、容器使用、资源分配等。JobHistoryServer 指标：包括历史作业的状态、执行时间、资源消耗等。
NO.1 Hadoop概述
2301_81838571的博客
07-23 304
1.1 Hadoop是什么 1.2 Hadoop优势 1.3 Hadoop组成 1.3.1 HDFS架构概述 1.3.2 YARN架构概述 1.3.3 MapReduce架构概述 1.3.4 HDFS、YARN、MapReduce三者关系 1.4大数据技术生态体系 1.5 推荐系统框架图
Linux：基础命令学习
qq_55038440的博客
07-20 1386
实例：-F根据文件类型在列出的文件名称后加一符号。实例： -R 递归显示目录中的所有文件和子目录。. 开头的隐藏文件也会列出。可执行文件则加 "*"，用于显示目录文件信息。
LINUX之MMC子系统分析
gy794627991的博客
07-23 1054
MMC子系统从协议到源码分析
linux上导出数据库
weixin_43652507的博客
07-24 272
linux上导出数据库 MySQL、PostgreSQL、SQLite、MongoDB
【Linux】条件变量及生产者消费者模型
2301_78636079的博客
07-23 1065
条件变量与生产消费者模型
GNU/Linux - Bazaar版本管理工具
guoqx的专栏
07-24 430
根据 Jelmer Vernooij 的说法，Canonical 的 Bazaar 团队的成员在 2012 年初被分配到不同的任务，他本人在7年来为该项目做出贡献后，于2012年底停止了对 Bazaar 的贡献。同样，Bugzilla项目在2014 3月从 Bazaar 改为使用 git，其中一个原因是 Bazaar 几乎已被放弃的印象：“每个月可能有 2-3 次向主干提交。并用来进行Ubuntu项目的版本控制。Bazaar 可以由一个开发本地内容的多个分支的开发人员使用，也可以由跨网络协作的团队使用。
RK3568 Linux 平台开发系列讲解（内核入门篇）：从内核的角度看外设芯片的驱动
最新发布
小灰灰的博客
07-24 736
从内核的角度看外设芯片的驱动，需要理解驱动的基本结构、设备树的使用以及内核的 I/O 机制。通过掌握这些知识，您将能够有效地开发和管理外设驱动程序。希望本文为您在 RK3568 平台的驱动开发提供了有价值的参考，欢迎继续关注后续的内容！
Linux：进程信号（一.认识信号、信号的产生及深层理解、Term与Core）
qq_74415153的博客
07-23 1528
1.认识信号 进程看待信号方式 2.信号的产生 2.1信号的处理的方式 --- signal()函数 2.2kil指令产生信号 2.3键盘产生信号 2.4系统调用发送信号 -kil系统调 用、raise()和abort()库函数 2.5软件条件产生信号 2.6异常产生信号 3.信号产生的深层理解 键盘产生信号 异常产生信号 4.Term与Core core文件
Linux中将文件解压到指定目录
weixin_61663117的博客
07-23 310
请确保目标目录已经存在，否则上述命令可能会报错。如果目录不存在，你可以使用。通常是用来压缩单个文件的，而不是目录。所以你需要指定解压后的文件名。选项会创建所有必要的父目录。是你想要解压到的目标目录。选项后面跟着的是目标目录。通常用于压缩单个文件。
linux C++ onnxruntime yolov8 视频检测Demo
.NET 人工智能实践
07-23 701
linux C++ onnxruntime yolov8 视频检测Demo
计算机技术基础 （bat 批处理）Note4
weixin_46530456的博客
07-23 956
本节主要讲解一些 bat 批处理文件中的一些特殊符号，包括和>>和&&和||" ";()
护网紧急情况应对指南：Linux 应急响应手册
关注微信公众号【开源Linux】，后台回复『10T』，领取10T学习资源大放送，涵盖Linux、虚拟化、容器、云计算、网络、Python、Go等书籍和视频
07-23 356
Linux应急手册》是一本为Linux系统管理员和运维工程师量身打造的实用指南，旨在帮助他们快速应对各种突发状况和紧急事件。本书内容涵盖了Linux系统安全、性能优化、故障排查等多个方面，通过丰富的实战案例和详细的操作步骤，帮助读者掌握Linux应急响应的核心技能和知识。我用夸克网盘分享了「Linux 应急响应手册v1.8 发行版」，点击链接即可保存。链接：https://pan.quark.cn/s/f205d005bbce。收到小伙伴后台要Linux应急手册，今天给大家安排上。
了解Linux中的shell脚本
Hanshy123的博客
07-22 853
Shell 是一个用 C 语言编写的程序，它是用户使用 Linux 的桥梁。Shell 既是一种命令语言，又是一种程序设计语言。Shell 是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务。shell就是用户与linux交换的一款语言。Ken Thompson 的 sh 是第一种 Unix Shell，Windows Explorer 是一个典型的图形界面 Shell。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值