hadoop大数据集群搭建(三)超级保姆式教学

最新推荐文章于 2024-05-11 20:27:52 发布
最新推荐文章于 2024-05-11 20:27:52 发布
阅读量189 收藏 1
点赞数 1
文章标签： hadoop 大数据 hdfs yarn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qianyu_123456/article/details/127092755
版权

前情回顾

在上一篇章中我们完成了关闭防火墙, 集群之间的免密登录, 完成集群的时间同步问题, 安装MySQL, 安装JDK操作, 本篇将完成余下所有操作以完成hadoop集群的搭建。

  • 往期链接
  1. hadoop大数据集群搭建(一)超级保姆式教学
    https://blog.csdn.net/qianyu_123456/article/details/126997855
  2. hadoop大数据集群搭建(二)超级保姆式教学https://blog.csdn.net/qianyu_123456/article/details/127021024

本章将完成Hadoop集群的搭建（完成本章后建议拍快照）

  • 我们需要完成的有:
  1. 安装hadoop软件
  2. 修改hadoop配置文件
  3. hadoop集群的搭建/启动/关闭与体验
  4. (选读)介绍hadoop配置文件增加的非常规配置

实际开发中应该配, 但是没有也可以运行, 本文已配置

  • 为什么我们使用单点模式？性能要求低，虚拟机有快照功能避免单点故障问题

事实上企业开发中采用的HA（high available 高可用）模式，原因是因为我们现在所配置的是单点模式，一旦namenode出了问题，我们Hadoop集群将崩溃，而HA模式依赖于zookeeper（Hadoop生态的一个软件）集群完成主备切换，因为HA模式不止一个namenode，虽然HA模式也会丢失一小部分数据，但相较于我们的单点模式还是非常优秀的。由于我们使用虚拟机模拟实际开发的效果，有快照机制，出错了回档即可便不需要采用HA模式了，因为这对于我们电脑的性能要求较高。

  • 单点故障是什么？

整个集群中只有NameNode和ResourceManager发号施令,并且数据集中存储在该服务节点中.如果服务器一旦宕机或者数据丢失,整个集群将不复存在,此时我们急需解决该问题,提高集群的可靠性和安全性.

服务器基础环境准备（如果是跟着博主的文章过来的都已经准备好了）

ip、主机名 hosts映射 别忘了windows也配置
防火墙关闭
时间同步
免密登录 qianyu1---->qianyu1 qianyu2 qianyu3
JDK安装

  • 目录结构
    /export/server #软件安装目录
    /export/software #安装包的目录
    /export/data #软件运行数据保存的目录
    /export/logs #软件运行日志

1. 安装hadoop软件

  • 将安装包上传到/export/software中

在这里插入图片描述

  • 打开/export/software目录
cd /export/software/

在这里插入图片描述

  • 将压缩包,解压到/export/server中
tar -zxvf hadoop-3.3.0-Centos7-64-with-snappy.tar.gz  -C ../server/

在这里插入图片描述

2. 修改hadoop配置文件

  • 进入到配置文件的目录下
cd /export/server/hadoop-3.3.0/etc/hadoop

在这里插入图片描述

  • 修改配置文件

01. 修改hadoop-env.sh文件

  • 打开hadoop-env.sh
    在这里插入图片描述

文件最后添加
export JAVA_HOME=/export/server/jdk1.8.0_65
export HDFS_NAMENODE_USER=root export
HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root export
YARN_RESOURCEMANAGER_USER=root export YARN_NODEMANAGER_USER=root

在这里插入图片描述

  • 保存后退出
    在这里插入图片描述

02. 修改core-site.xml文件

  • 打开core-site.xml
vim core-site.xml

在这里插入图片描述

  • 增加内容
<configuration>

</configuration>

如下内容写在上面两个标签中间!!!:

<!-- 设置默认使用的文件系统 Hadoop支持file、HDFS、GFS、ali|Amazon云等文件系统 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://qianyu1:8020</value>
</property>

<!-- 设置Hadoop本地保存数据路径 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/export/data/hadoop-3.3.0</value>
</property>

<!-- 设置HDFS web UI用户身份 -->
<property>
    <name>hadoop.http.staticuser.user</name>
    <value>root</value>
</property>

<!-- 整合hive 用户代理设置 -->
<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>

<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>
<!-- 开启垃圾桶机制 -->
<property>
    <name>fs.trash.interval</name>
    <value>1440</value>
</property>

在这里插入图片描述

03. 配置hdfs-site.xml

vim hdfs-site.xml

在这里插入图片描述
修改内容:

<!-- 设置SNN进程运行机器位置信息 -->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>qianyu2:9868</value>
</property>

在这里插入图片描述

04.配置mapred-site.xml

  • 打开mapred-site.xml
vim mapred-site.xml

在这里插入图片描述

  • 修改内容
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

<!-- MR程序历史服务器端地址 -->
<property>
  <name>mapreduce.jobhistory.address</name>
  <value>qianyu1:10020</value>
</property>
 
<!-- 历史服务器web端地址 -->
<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>qianyu1:19888</value>
</property>

<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

在这里插入图片描述

05. 配置yarn-site.xml

  • 打开yarn-site.xml
vim yarn-site.xml

在这里插入图片描述

  • 修改内容
<!-- 设置YARN集群主角色运行机器位置 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>qianyu1</value>
</property>

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<!-- 是否将对容器实施物理内存限制 -->
<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>

<!-- 是否将对容器实施虚拟内存限制。 -->
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

<!-- 开启日志聚集 -->
<property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
</property>

<!-- 设置yarn历史服务器地址 -->
<property>
    <name>yarn.log.server.url</name>
    <value>http://qianyu1:19888/jobhistory/logs</value>
</property>

<!-- 保存的时间7天, 以秒为单位 -->
<property>
  <name>yarn.log-aggregation.retain-seconds</name>
  <value>604800</value>
</property>

在这里插入图片描述

06. 配置workers

  • 打开workers
vim workers

在这里插入图片描述

  • 修改内容
qianyu1
qianyu2
qianyu3

在这里插入图片描述

07. 分发同步hadoop安装包

cd /export/server
scp -r hadoop-3.3.0 root@qianyu2:$PWD
scp -r hadoop-3.3.0 root@qianyu3:$PWD

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

08. 将hadoop添加到环境变量（3台机器）

vim /etc/profile

# hadoop环境变量配置
export HADOOP_HOME=/export/server/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile


#别忘了scp给其他两台机器
scp /etc/profile qianyu2:/etc/profile
scp /etc/profile qianyu3:/etc/profile

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

3. hadoop集群的搭建/启动/关闭与体验

  • hadoop namenode format(hadoop集群初始化)
  • 只能初始化一次!!!只能初始化一次!!!只能初始化一次!!!
  • 以后启动不需要初始化了
  • 在qianyu1 部署namenode的这台机器上执行
hadoop namenode -format

在这里插入图片描述
在这里插入图片描述

  • hadoop可以单节点单进程逐个手动启动, 但是我们大可不必这么麻烦
  • 直接全部启动
# 开启hadoop集群
start-all.sh
# 关闭hadoop集群
stop-all.sh

在这里插入图片描述

  • 查看进程
    在这里插入图片描述

  • 体验UI界面

  • 打开浏览器输入qianyu1:9870 打开hadoop hdfs集群界面

在这里插入图片描述
在这里插入图片描述

  • 打开浏览器输入qianyu1:8088 打开hadoop yarn集群界面

在这里插入图片描述
在这里插入图片描述

  • 看到这里, 已经完成了hadoop集群的搭建和体验了, 可以正常使用。
  • 关闭Hadoop集群
    在这里插入图片描述

4. (选读)介绍hadoop配置文件增加的非常规配置

实际开发中应该配, 但是没有也可以运行, 本文已配置

(1)MapReduce jobhistory服务

默认情况下，yarn上关于MapReduce程序执行历史信息、执行记录不会永久存储；一旦yarn集群重启 之前的信息就会消失。
MapReduce jobhistory服务可以保存yarn上已经完成的MapReduce的执行信息。

  • mapred-site.xml配置MapReduce jobhistory部分
<property>
	<name>mapreduce.jobhistory.address</name>
	<value>qianyu1:10020</value>
</property>

<property>
	<name>mapreduce.jobhistory.webapp.address</name>
	<value>qianyu1:19888</value>
</property>
  • 自己手动启停jobhistory服务。
#hadoop2.x版本命令
mr-jobhistory-daemon.sh start|stop historyserver

#hadoop3.x版本命令
mapred --daemon start|stop historyserver

(2)HDFS 垃圾桶机制

  • 该机制在windows叫做回收站 , 在默认情况下 hdfs没有垃圾桶 意味着删除操作直接物理删除文件。
  • 在core-site.xml中开启垃圾桶机制的内容
<property>
	<name>fs.trash.interval</name>
	<value>1440</value>
</property>
  • 配置前效果:
    [root@qianyu1 ~]# hadoop fs -rm /itcast/1.txt
    Deleted /itcast/1.txt
  • 配置后效果:
    [root@qianyu1 ~]# hadoop fs -rm /itcast.txt
    INFO fs.TrashPolicyDefault: Moved: ‘hdfs://qianyu1:8020/itcast.txt’ to trash at: hdfs://qianyu1:8020/user/root/.Trash/Current/itcast.txt
  • 后悔了 想吃后悔药咋办？
hadoop fs -cp /user/root/.Trash/Current/itcast.txt /
  • 就想直接删除文件怎么做? 我决不回头!
hadoop fs -rm -skipTrash /itcast.txt

效果:
[root@qianyu1 ~]# hadoop fs -rm -skipTrash /itcast.txt
Deleted /itcast.txt
可以看到与没有设置垃圾桶前效果一直。

  • ** 感谢各位的观看, 如有帮助请点赞支持一下, 谢谢!!!**
浅语27
关注
最全大数据学习路线指南：大数据知识点汇总保姆级教程（2万字长文）
大模型大数据攻城狮的专栏
08-19 154
在大数据的浩瀚海洋中，数据可视化工具就如璀璨的明珠，帮助我们将复杂的数据转化为清晰易懂的图形和图表。PowerBIPowerBI 由微软推出，是一款功能强大的商业智能工具。它提供了丰富多样的可视化选项，从常见的条形图、折线图、饼图，到更复杂的地图、漏斗图等，应有尽有。用户可以根据数据的特点和分析需求，选择最合适的图表类型来呈现数据。其交互式数据分析功能更是一大亮点。用户可以通过点击、筛选、钻取等操作，深入探索数据的细节，发现隐藏在数据背后的规律和趋势。
项目0单节点的虚拟机做大数据开发（四万字全）
默主归沙的博客
03-21 2934
说明：这个项目是面向大数据开发的，要涉及到多个软件的安装。以后还会更新整个项目的流程包括代码。 1.1新建虚拟机 上面这个镜像文件 链接：https://pan.baidu.com/s/1bdrE2pFtVXQt07oOrqw-KA 提取码：0fht --来自百度网盘超级会员V2的分享 上图只需要点击安装位置和网络和主机名就可以开始安装 网络和主机名：打开，然后点击完成 点击开始安装 Root的密码 ..
Hadoop大数据环境搭建保姆级教程（完整版）
Jancydc的博客
05-16 4154
全网新手小白最完整的Hadoop环境搭建以及配置教程，保证一学就会，本篇内容干货较多，请认真看完！如有不清楚地方，请留言/私信告知～
大数据-Centos保姆级zookeeper集群搭建
做人如果没有梦想，那跟咸鱼有什么区别--周星驰
07-05 727
测试3台机器，Centos7，vmware安装，有外网 部署zookeeper集群
Hadoop3.0稳定版的安装部署
热门推荐
大数据星球-浪尖
12-15 1万+
号外：本公众号改名为Spark学习技巧了。 Apache Hadoop 3.0.0在前一个主要发行版本（hadoop-2.x）中包含了许多重要的增强功能。 这个版本通常是可用的（GA），api稳定性和质量已经到了可以再生成中使用的步骤。 一 概览 1，java8是必须 所有hadoop 的jar都是利用java8的运行时版本进行编译的。依然在使用java7或者更低版本
HBase完全分布式配置（上）hadoop篇 保姆级教程（近乎零基础跟着配也能配对）(2)
2301_79099434的博客
04-17 501
先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。 既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、
Hadoop集群搭建教程（奶妈保姆级别，超级详细）
weixin_44041968的博客
12-11 134
命令：rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.261-2.6.22.2.el7_8.x86_64。上传完毕后，输入命令tar -zxvf jdk-8u181-linux-x64.tar.gz -C /export/servers/进行解压安装jdk。先切换到这个目录下，使用命令：cd /export/servers/hadoop/etc/hadoop/切换之后就可以开始配置了。设置好ROOT密码后，密码一定记住别忘记了，后续会用到。
大数据学前准备--zookeeper详解与集群搭建（保姆级教程）
wudidahuanggua的博客
09-13 4432
深度解析zookeeper理论知识以及手把手教你搭建起集群，保姆级的教程。点赞收藏一点也不亏吖！
在虚拟机中搭建高可用集群，超详解，保姆级教学
一个学习的博客
11-05 1274
先确定你的高可用集群分布表 我的是，一定要记住自己的到时候配置xml的时候要对照自己的来 接着启动虚拟机开始搭建
HBase详解（对hbase集群搭建、读写流程、hbase的javaApi等细致入微的讲解与保姆级的图解）
wudidahuanggua的博客
09-24 3460
细致入微的图文讲解，看了这篇文章你很难学不懂hbase
Hadoop集群安装配置 图文保姆级教程—保姆级配置教程—全网最全[官方手册版]
最新发布
m0_63324772的博客
05-11 1898
Hadoop集群安装配置 图文保姆级教程—全网最全 一、安装前需要 1.VMware安装配置： 2.相关Hadoop软件包下载 3.Ubuntu镜像下载 二、Ubuntu系统安装 前提声明：已安装可忽略此步（但要有远程传输VMwareTools，和英文版的Ubuntu） 三、Hadoop单机+伪分布式配置 1.更新apt 2.安装Vim 3.安装SSH 4.配置SSH无密码登陆 5.安装Java环境 6.安装Hadoop 7.单机配置（非分布式） 8.伪分布式配置 四、Hadoop集群式安装
Linux安装配置hadoop
qq_43540354的博客
05-02 3322
安装配置hadoop 1.到 《官网》 下载Hadoop 2.使用cd /usr命令，进入到usr目录下 并使用mkdir hadoop命令，创建一个hadoop目录，使用ls查看是否创建成功（一般没毒的话，应该都会创建成功） 4.将下载好的文件上传到linux环境中，准确说是上一步建好的hadoop目录下，方法有三： (1)可以使用XShell的sudo rz的命令上传，但是有的可能会出现“传输失败”，如果失败了可以换换使用sudo rz -be进行上传 (2)使用XShell配套的xftp进行上
root实现对HDFS文件系统权限访问
zhengqianjin的博客
07-10 4064
在使用root 用户新搭建好cdh后， 发现在想hdfs上写数据时老是报权限不够的问题 经过查找资料发现，root用户只是系统的超级管理员而不是hdfs的超级管理员, cdh安装后默认hdfs为超级管理员。如果想让用户有访问hdfs 权限提供了一下两种方法 （一）改变用户到hdfs用户组 由于HDFS文件系统的目录都属于supergroup用户组，所以就把用户添加到该用户组，即可解决很多权限问题。 1、在Linux执行如下命令增加supergroup groupadd supergroup 2、如将用户r
大数据集群搭建遇到的问题1
qq_58399418的博客
09-10 184
仅供参考 一、Linux自带jdk查看并删除 rpm -qa | grep jdk查看jdk的具体信息， 用rpm -e --nodeps java-1.5.0-gcj-1.5.0.0-29.1.el6.x86_64命令卸载相应的jdk 注：rpm 执行安装包 二、Hadoop安装后报错 解决步骤 方案一 （放到文件头部 空白处） （1）对于start-dfs.sh和stop-dfs.sh文件，添加下列参数 HDFS_DATANODE_USER=root ...
Hadoop环境配置
weixin_64138524的博客
11-24 625
1. 将Hadoop安装包解压到指定路径/usr/hadoop（安装包存放于/usr/package277/）
HDFS 高可用的环境搭建
m0_37658639的博客
05-16 2596
在开始Hadoop集群的HDFS高可用环境搭建之前，需要完成搭建工作。
4、最详细教程（Hadoop安装和配置）(1)，2024年最新最新出炉
2401_84150530的博客
04-15 827
vi slaves(hadoop3点多版本是进入 workers ) 我用的hadoop版本是Hadoop3.2.4所以使用vi workers。根据基础设置部分/etc/hosts主机映射名称修改，我的从节点为slave1，所以修改为slave1。#把以下内容添加到mapred-site.xml文件的之间。本步骤在从机中操作，如果未写在从机还是主机，都在主机中操作。本步骤在从机中操作，如果未写在从机还是主机，都在主机中操作。#把以下内容添加到hdfs-site.xml文件的之间。
【大数据】hadoop的运行模式（root用户下、尚硅谷Hadoop入门)_hadoop三种运行模式(1)
2401_84170337的博客
04-28 530
done。
Centos Linux 安装单机 Hadoop（HDFS）
寒水馨
10-05 2151
Centos Linux 安装单机 Hadoop（HDFS）、Centos、Linux、Hadoop、HDFS、Yarn、大数据、Apache、MapReduce
Hadoop大数据集群搭建详解：理论与实践指南
《基于Hadoop大数据集群的搭建》是一篇针对计算机科学与技术、软件工程专业本科专科毕业生的原创学位毕业论文，作者从Hadoop的崛起背景出发，详细阐述了这个开源框架在大数据处理和分析领域的关键角色。论文的重点...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值