大数据~DataNode详解&MapReduce 概述

最新推荐文章于 2023-09-06 22:40:25 发布
最新推荐文章于 2023-09-06 22:40:25 发布
阅读量469 收藏 1
点赞数
分类专栏： 从零开始学习大数据-Haddop 文章标签： 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yidianyidei/article/details/107558560
版权

文章目录

DataNode 详解

DataNode----是存储数据块元数据

一 DataNode 工作机制

killall java 删除java 全部进程

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

如上图 什么是数据校验和?

数据完整性

思考：如果电脑磁盘里面存储的数据是控制高铁信号灯的红灯信号（1）和绿灯信号（0），但是存储该数据的磁盘坏了，一直显示是绿灯，是否很危险？同理DataNode节点上的数据损坏了，却没有发现，是否也很危险，那么如何解决呢？

如下是DataNode节点保证数据完整性的方法。

1）当DataNode读取Block的时候，它会计算CheckSum。

2）如果计算后的CheckSum，与Block创建时值不一样，说明Block已经损坏。

3）Client读取其他DataNode上的Block。

4）DataNode在其文件创建后周期验证CheckSum，如下图所示

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Wvn8EyYQ-1595565343682)(C:\Users\v_xjzxu\AppData\Roaming\Typora\typora-user-images\1595404867332.png)]

掉线时限参数设置

在这里插入图片描述
在这里插入图片描述

需要注意的是 hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒，dfs.heartbeat.interval的单位为秒
    
    
<property>
    <name>dfs.namenode.heartbeat.recheck-interval</name>
    <value>300000</value>
</property>
<property>
    <name>dfs.heartbeat.interval</name>
    <value>3</value>
</property>

二 服役新数据节点

\0. 需求

随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。

\1. 环境准备

​ （1）在hadoop104主机上再克隆一台hadoop105主机

​ （2）修改IP地址和主机名称

​ （3）删除原来HDFS文件系统留存的文件（/opt/module/hadoop-2.7.2/data和log）

​ （4）source一下配置文件

[root@hadoop105 hadoop-2.7.2]$ source /etc/profile

\2. 服役新节点具体步骤
（1）直接启动DataNode，即可关联到集群

[root@hadoop105 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode (不用配置主从集群什么副本 只需-但启-新增机器 ，他会自动完成注册)

在这里插入图片描述

（2）在hadoop105上上传文件

[root@hadoop105 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager

[root@hadoop105 hadoop-2.7.2]$ hadoop fs -put /opt/module/hadoop-2.7.2/LICENSE.txt /

（3）如果数据不均衡，可以用命令实现集群的再平衡

[root@hadoop102 sbin]$ ./start-balancer.sh

starting balancer, logging to /opt/module/hadoop-2.7.2/logs/hadoop-atguigu-balancer-hadoop102.out

Time Stamp Iteration# Bytes Already Moved Bytes Left To Move Bytes Being Moved

三 退役旧数据节点

1 添加白名单

添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，都会被退出。

配置白名单的具体步骤如下：

（1）在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts文件
    
[root@hadoop102 hadoop]$ pwd
/opt/module/hadoop-2.7.2/etc/hadoop
[root@hadoop102 hadoop]$ touch dfs.hosts
[root@hadoop102 hadoop]$ vi dfs.hosts

添加如下主机名称（不添加hadoop105）
hadoop102
hadoop103
hadoop104
    
    
（2）在NameNode的hdfs-site.xml配置文件中增加dfs.hosts属性
<property>
	<name>dfs.hosts</name>
	<value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts</value>
</property>
    
 (3）配置文件分发
xsync hdfs-site.xml

    
 (4)刷新NameNode
hdfs dfsadmin -refreshNodes  
  
返回：Refresh nodes successful 代表刷新成功
  
5）更新ResourceManager节点
yarn rmadmin -refreshNodes
  
17/06/24 14:17:11 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.1.103:8033

  
如果数据不均衡，可以用命令实现集群的再平衡
./start-balancer.sh

在这里插入图片描述

刷新NameNode
hdfs dfsadmin -refreshNodes
更新ResourceManager节点
yarn rmadmin -refreshNodes

2 黑名单退役

在黑名单上面的主机都会被强制退出。

1.在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts.exclude文件

[root@hadoop102 hadoop]$ pwd

/opt/module/hadoop-2.7.2/etc/hadoop

[root@hadoop102 hadoop]$ touch dfs.hosts.exclude

[root@hadoop102 hadoop]$ vi dfs.hosts.exclude

添加如下主机名称（要退役的节点）

hadoop105

2．在NameNode的hdfs-site.xml配置文件中增加dfs.hosts.exclude属性

<property>

<name>dfs.hosts.exclude</name>

   <value>/opt/module/hadoop-2.7.2/etc/hadoop/**dfs.hosts.exclude**</value>

</property>

3．刷新NameNode、刷新ResourceManager

[root@hadoop102 hadoop-2.7.2]$ hdfs dfsadmin -refreshNodes

Refresh nodes successful

[root@hadoop102 hadoop-2.7.2]$ yarn rmadmin -refreshNodes

17/06/24 14:55:56 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.1.103:8033

\4. 检查Web浏览器，退役节点的状态为decommission in progress（退役中），说明数据节点正在复制块到其他节点
在这里插入图片描述

\5. 等待退役节点状态为decommissioned（所有块已经复制完成），停止该节点及节点资源管理器。注意：如果副本数是3，服役的节点小于等于3，是不能退役成功的，需要修改副本数后才能退役，

在这里插入图片描述

[root@hadoop105 hadoop-2.7.2]$ sbin/hadoop-daemon.sh stop datanode

stopping datanode

[root@hadoop105 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop nodemanager

stopping nodemanager

\6. 如果数据不均衡，可以用命令实现集群的再平衡

[atguigu@hadoop102 hadoop-2.7.2]$ sbin/start-balancer.sh

​ 注意：不允许白名单和黑名单中同时出现同一个主机名称。

四 Datanode多目录配置

\1. DataNode也可以配置成多个目录，每个目录存储的数据不一样。即：数据不是副本

2．具体配置如下

​ hdfs-site.xml

<property>
        <name>dfs.datanode.data.dir</name>				         			              <value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2</value>
</property>

五 HDFS 2.X新特性

1 集群间数据拷贝

1．scp实现两个远程主机之间的文件复制

​ scp -r hello.txt root@hadoop103… // 推 push

​ scp -r root@hadoop103…/test / // 拉 pull

2 采用distcp命令实现两个Hadoop集群之间的递归数据复制

[root@hadoop102 hadoop-2.7.2]$  bin/hadoop distcp
hdfs://haoop102:9000/user/root/hello.txt hdfs://hadoop103:9000/user/root/hello.txt

2 小文件存档

在这里插入图片描述

把小文件打成一个包，打包需要yarn支持 ,启动yarn.

启动dfs/yarn

hadoop fs -put hadoop / 上传小文件

把小文件打包 bin/hadoop archive -archiveName input.har 设置名字 -p /（hadoop 要打包路径） / （打包好存放路径）

查看包里文件

hadoop fs -ls har:///input.har

六 MapReduce

在这里插入图片描述

优点：

简单（易于编程）

​ 良好扩展性

​ 较高容错性
在这里插入图片描述

在这里插入图片描述

缺点：慢

在这里插入图片描述

MapReduce核心思想

Map映射+Reduce归并

输入数据----》Map 阶段 把元数据映射成我们希望的样子（k,v）单词,1===>Reduce 阶段归并 把N个单词变成1 ，把1 变成N （1（单词），N（数量））

在这里插入图片描述

七 Hadoop 序列化概述

在这里插入图片描述

Hadoop 序列化特点

在这里插入图片描述

八 补充

如何导入idea ，导入前

在这里插入图片描述
在这里插入图片描述

yidianyidei
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据之-Hadoop3.x_Hadoop之HDFS_DataNode的工作机制_原理---大数据之hadoop3.x工作笔记0077
添柴程序猿的专栏
04-10 311
然后我们再来看一下hadoop中,datanode的工作机制. 1.datanode1,比如启动的时候,它会向namenode进行注册,把自己的信息,比如我存了哪些block块信息, 块中存了块数据,以及块数据的长度,以及数据的校验和,以及块数据的时间戳.把这些信息发给namenode节点 2.然后namenode收到datanode1发过来的注册信息以后,把信息存到自己的元数据映射表中,然后给datanode1发送一条,注册成功的信息 3.datanode1收到,namenode返回的注...
实验项目 MapReduce 编程
04-18
1. 启 动 全 分 布 模 式 Hadoop 集 群 ， 守护进程 包 括 NameNode 、 DataNode 、 SecondaryNameNode、ResourceManager、NodeManager 和 JobHistoryServer。 2. 在 Hadoop 集群主节点上搭建 MapReduce 开发环境 ...
hadoop中map和reduce的数量设置问题
java的涟漪
08-13 1908
map和reduce是hadoop的核心功能，hadoop正是通过多个map和reduce的并行运行来实现任务的分布式并行计算，从这个观点来看，如果将map和reduce的数量设置为1，那么用户的任务就没有并行执行，但是map和reduce的数量也不能过多，数量过多虽然可以提高任务并行度，但是太多的map和reduce也会导致整个hadoop框架因为过度的系统资源开销而使任务失败。所以用户在提交m
大数据（七）：DataNode工作机制
敲代码的旺财的博客
09-03 977
一、DataNode工作机制 一个数据块在datanode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，快数据的校验和，以及时间戳 DataNode启动后向namenode注册，通过后，周期性（默认1小时）的向namenode上报所有的块信息 心跳是每3秒一次，心跳返回结果带有namenode给该datanode的命令如复制块数...
【大数据基础】Datanode
Penn的博客
07-18 243
Datanode 的实现 1. 数据块存储 1.1 数据节点的磁盘目录文件结构 ${dfs.data.dir} 数据目录 blocksBeingWritten 正在写的数据块，由客户端发起 current 已经写入的数据块 detach 配合升级的临时路径 tmp 数据块复制引发的，保存正在写的数据块 ${dfs.data.dir}/current HDFS数据块 met...
DataNode（面试开发重点1）
翁老师的教学团队
03-24 450
1 DataNode工作机制 》什么是心跳机制 心跳机制是定时发送一个自定义的结构体(心跳包)，让对方知道自己还活着，以确保连接的有效性的机制。 》心跳机制有什么用？ 检测死连接 举个例子，A客户连着B服务器，但实际上是A->中间的网络设备C->B，如果是A到C断了，实际上B是无法知道的，因为B来说A的连接（就是C）还连着，心跳机制就解决了这个问题 》DataNode工作机制 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pWikjdzL-161657233867
HDFS体系结构(NameNode、DataNode详解)
03-30
"HDFS体系结构详解" HDFS（Hadoop Distributed File System）是一种分布式文件系统，旨在存储和管理大规模数据。HDFS体系结构主要由两部分组成：NameNode和DataNode。 NameNode NameNode是HDFS的中心节点，负责...
12_尚硅谷大数据之HDFS_DataNode1
08-03
6.2 数据完整性 6.3 掉线时限参数设置 6.4 服役新数据节点 6.5 退役旧数据节点
大数据开发面试题，吐血整理
最新发布
05-28
包含hadoop/hive/kafka/flume/scala/spark/flink等相关大数据中间件面试，并且会不断更新，本资源提供了大数据开发领域常见的面试题和答案，旨在帮助求职者准备面试并提升在大数据开发方面的知识和技能。该文档涵盖...
大数据与云计算技术 Hadoop概论和快速入门 共40页.ppt
09-04
源自Google GFS,BigTable,MapReduce 论文。 == HDFS == HDFS (Hadoop Distributed File System),Hadoop 分布式文件系统。 NameNode,HDFS命名服务器,负责与DataNode文件元信息保存。 DataNode,HDFS数据节点，负责存储...
大数据开发技术之DataNode工作机制与多目录配置
m0_58371965的博客
08-26 484
1.DataNode工作机制 1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。 2）DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。 3）心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。 4）集群运
第8节：HDFS目录结构与MapReduce；datanode工作机制，hadoop的归档，快照，回收站，扩展集群
凯歌技术控团队
10-29 216
第8节：HDFS目录结构与MapReduce；datanode工作机制，hadoop的归档，快照，回收站，扩展集群6、DataNode工作机制6.1、NameNode & DataNode工作机制 6、DataNode工作机制 6.1、NameNode & DataNode工作机制 1）一个数据块在datanode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身， 一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。 2）DataNode启动后向namenode注册，通过后，
大数据5-NameNode和DataNode详解
qq_32193775的博客
04-11 2663
Hadoop----NameNode和DataNode详解 NameNode namenode概述 namenode是整个文件系统的管理节点。它维护着 整个文件系统的文件目录树； 文件/目录的元信息和每个文件对应的数据块列表。 接收用户的操作请求。 namenode包含两个文件：FsImage(元数据镜像文件。存储某一时段NameNode内存元数据信息)和Editlog(操作日志文件） Nam...
《Hadoop MapReduce实战手册》一2.3 添加一个新的DataNode
weixin_33910385的博客
05-02 66
本节书摘来异步社区《Hadoop MapReduce实战手册》一书中的第2章，第2.3节，作者： 【美】Srinath Perera , Thilina Gunarathne 译者： 杨卓荦 责编： 杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。 2.3 添加一个新的DataNode Hadoop MapReduce实战手册本节将展示如何在...
Hadoop的MapReduce原理
别人笑我太疯癫，我笑他人看不穿。
12-23 175
MapReduce说的其实是applicationmaster把任务交给datanode之后，datanode中任务就执行过程，有兴趣的话可以看一下我之前发的yarn的东西https://blog.csdn.net/dudadudadd/article/details/111586667 最好还是看一下，因为如果其他人问出来，我们还是要从数据的提交那一块说起的 如上图，我以单个的datanode为例来说，在applicationmaster向yarn申请完资源之后，会把任务交给申请到的资源所在的datan
【Hadoop】DataNode 详解
康师傅没有眼泪
08-28 4493
Datanode是HDFS文件系统的工作节点，它们根据客户端或者是namenode的调度进行存储和检索数据，并且定期向namenode发送它们所存储的块(block)的列表。
Hadoop之DataNode
每天进步一点点
05-06 2680
目录 1.DataNode是什么？ 2.DataNode做什么？ 3.DataNode怎么做？ 1.DataNode是什么？ Datanode是HDFS文件系统的工作节点，它们根据客户端或者是namenode的调度进行存储和检索数据，并且定期向namenode发送它们所存储的块(block)的列表。 2.DataNode做什么？ Datanode以存储数据块(Block)的形式保存H...
HDFS中的NameNode和DataNode的作用是什么？它们之间的通信方式是什么？
jakelihua
09-06 1643
在HDFS中，NameNode和DataNode之间通过RPC进行通信，以实现元数据的交换和数据的读写操作。具体来说，当NameNode需要与DataNode通信时，它会通过RPC调用DataNode的特定方法，如发送数据块、接收数据块等。同时，客户端还会将数据块的副本分发给其他DataNode，以实现数据的冗余存储。下面我将以一个面试者的身份，结合具体的案例和代码，来解释它们的作用以及它们之间的通信方式。具体的通信细节由底层的RPC框架处理，我们只需要关注方法的调用和数据的传输。
hadoop—jps执行后缺少DataNode的解决办法
热门推荐
donoot的博客
11-18 1万+
jps执行后缺少DataNode的解决办法 之前，centos6.10里面安装了hadoop2.5.0，伪分布式配置好后，正常工作，后由hadoop版本2.5.0，换到hadoop版本2.9.2，将原来2.5.0里的配置复制到2.9.2，原来的环境配置保持不变，使用2.9.2的文件重新格式化namenode后，重新开启hadoop，jps命令显示缺失datanode。 查询资料，看到有解释是因为多次namenode格式化，造成name和data的ID号有变化，造成启动不了。 经测试可删除dsf目录下所有文件
MapReduce 中和 NameNode/DataNode 在同一个节点启动的进程
06-05
而在MapReduce中，有一些进程也会和NameNode/DataNode在同一个节点启动，这些进程包括： 1. JobTracker：JobTracker是MapReduce中的一个重要组件，它负责协调MapReduce任务的执行。JobTracker通常会和NameNode在同...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值