hadoop如何衡量两个节点之间的距离

最新推荐文章于 2021-10-30 20:54:13 发布
最新推荐文章于 2021-10-30 20:54:13 发布
阅读量591 收藏
点赞数
分类专栏： HDFS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39950222/article/details/100595311
版权

hadoop根据网络拓扑，将整个网络拓扑看成一棵树，树的每个节点代表集群中的每个机器（处理机或者路由器）

两个节点直接的距离等于两个节点距离其公共节点的距离之和

一般会把数据中心（center）、机架（rack）和节点（node）分别映射到不同的层次

以下每种情况的带宽是递减的：

  1. 同一节点中的两个程序
  2. 同一机架上的两个节点
  3. 同一数据中心的不同机架上的两个节点
  4. 不同数据中心的节点

如果将数据中心d1里的机架r1上的节点n1定义为/d1/r1/n1的话，那么将会有以下结果：

    distance(/d1/r1/n1, /d1/r1/n1) = 0 （同一节点上的两个应用程序）
    distance(/d1/r1/n1, /d1/r1/n2) = 2 （同一机架上的两个节点）
    distance(/d1/r1/n1, /d1/r2/n3) = 4 （同一数据中心里不同机架上的两个节点）
    distance(/d1/r1/n1, /d2/r3/n4) = 6 （不同数据中心的两个节点）

 

等你下课_
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深入理解HDFS：Hadoop分布式文件系统
Spring , Hadoop, Spark , BI , ML
07-15 5万+
文本详细介绍了HDFS中的许多概念，对于理解Hadoop分布式文件系统很有帮助。1. 介绍在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。而一旦在系统中，引入网络，就不可避免地引入了所有网络编程的复杂性，例如挑战之一是如果保证在节点不可用的时候数据不丢失。传统的网络文件系统（NFS）虽然也称为分布式文件系统，但是其存在一些限制。由于
hadoop节点距离计算的计算方法
surlig7012的博客
11-02 1417
记住一句话： 节点距离=两个节点到达最近的共同祖先的距离总和 如图： 在同一节点上，它们之间的距离当然是0，2*0=0 在同一机架上的不同节点，它们的共同祖先就是这个机架，而这两个节点到机架的距离都是1，所以这两个节点的距离为1+1=2 在同一集群的不同机架上的节点，它们的共同祖先是集群，而这两个节点要到达集群，首先要到这个机架(距离1)，然后到达集群(距离2)，所以两个节点的距离为2+2=4 在同一数据中心的不同集群上的节点，它们的共同祖先是数据中心，以此类推，一个节点到数据中心的距离是3，两.
hadoop--HDFS_机架感知与网络拓扑节点距离计算
FunnyPrince_的博客
09-02 511
目录机架感知二级目录三级目录 机架感知 1.第一个副本选择本地机架，距离近，上传速度快； 2.第二个副本选择远程机架的随机节点，保证数据的可靠性； 3.第三个副本选择第二个副本所在机架的随机节点，而不是其他机架，是同时兼顾可靠性+效率； 二级目录 三级目录 ...
hadoop节点距离计算
努力努力在努力
07-09 745
例如，假设有数据中心d1机架r1中的节点n1。该节点可以表示为/d1/r1/n1。利用这种标记，这里给出四种距离描述，如图1所示。 大家算一算每两个节点之间的距离，如图所示。 ...
hadoop：data node 距离远近的计算
大树叶 技术专栏
03-20 2729
一、hdfs介绍 hdfs设计原则 1.非常大的文件： 这里的非常大是指几百MB,GB,TB.雅虎的hadoop集群已经可以存储PB级别的数据 2.流式数据访问： 基于一次写，多次读。 3.商用硬件： hdfs的高可用是用软件来解决，因此不需要昂贵的硬件来保障高可用性，各个生产商售卖的pc或者虚拟机即可。 hdfs不适用的场景 1.低延迟的数据访问 hdfs的强项在于大量的
处理数据时，hadoop如何找最近的数据节点呢？
大树叶 技术专栏
03-20 993
首先，namenode维护着当前集群中datanode的拓扑情况（也就是哪个datanode在哪个机架上）。 hadoop认为datanode与客户端的距离，最近的是客户端本身（如果客户端与datanode在同一台机器上时）， 其次是与客户端在同一机架上的datanode，最远的是与客户端在不同机架上的datanode。 1）如果客户端在集群中，namenode就可以从数据所在datanod
hadoop教学课程
04-02
- Hadoop的两大核心组件是HDFS（Hadoop Distributed File System）和MapReduce。 2. **Hadoop的发展历史**： - Hadoop起源于雅虎公司的研究项目，旨在为搜索引擎提供高效的数据处理能力。 - 2006年，Hadoop作为...
hadoop权威指南第三版完整版
05-24
- **核心组件**：Hadoop主要由两个核心组件构成——HDFS（Hadoop Distributed File System）和MapReduce。HDFS是一种分布式文件系统，可以存储海量数据；MapReduce则是一种编程模型，用于大规模数据集的并行运算。 ...
HADOOP分类算法
06-27
Hadoop基于谷歌的MapReduce编程模型，由两个主要组件构成：Hadoop Distributed File System (HDFS) 和 MapReduce。HDFS提供了分布式存储，而MapReduce则负责大规模数据的并行处理。这两个组件使得Hadoop能够处理PB...
基于协同过滤算法使用hadoop实现商品推荐系统.zip
最新发布
03-13
协同过滤是一种基于用户行为的推荐方法，它假设如果两个用户在过去对某些物品有相似的评价，那么他们可能在未来也会对其他未知物品有相似的喜好。协同过滤算法主要分为用户-用户协同过滤和物品-物品协同过滤两种类型...
Hadoop学习总结
02-21
它分为两个主要阶段：Map阶段和Reduce阶段。 1. **Map阶段**：在这个阶段，输入数据被分割成多个小片（split），然后分配给各个工作节点（mapper）。Mapper接收输入记录，进行处理（如词频统计），并将结果输出为...
求二叉树中最远的两个节点的距离
zhangbaoanhadoop的博客
08-31 2236
求二叉树中最远的两个节点的距离 2017年07月22日 18:40:03 阅读数：562更多 个人分类： 数据结构 所属专栏： 面试知识点 版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/poison_biti/article/details/75798001 求两个节点之间最远的距离： （1）两个节点都是叶子结点 （2）一个...
节点距离计算
tngrrr的博客
10-29 1309
在说明怎么计算节点距离之前，先说一下什么叫节点距离吧。 节点距离：两个节点到达最近的共同祖先的距离总和，简单点说就是两个节点间的最短路径的长度。 用于描述网络节点距离的参数有很多种，如： Average distance： 这个很好理解，就是所有两两节点之间的最短距离的平均值，最直接的描述了图的紧密程度。 Eccentricity：这个参数描述的是从任意一个节点，到达其他节点的最大距离。 Diameter：图中的最大两个节点间的距离。 Radius：图中的最小两个节点间的距离.。 Periphery： 和
网络拓扑-集群中两个节点之间距离的计算方法
Sun's Blog
07-08 2669
记住一句话： 节点距离=两个节点到达最近的共同祖先的距离总和 如图： 在同一节点上，它们之间的距离当然是0，2*0=0 在同一机架上的不同节点，它们的共同祖先就是这个机架，而这两个节点到机架的距离都是1，所以这两个节点的距离为1+1=2 在同一集群的不同机架上的节点，它们的共同祖先是集群，而这两个节点要到达集群，首先要到这个机架(距离1)，然后到达集群(距离2)，所以两个节点的距离为2+2=4 在同一数据中心的不同集群上，它们的共同祖先是数据中心，以此类推，一个节点到数据中心的距离是3，两个节点的距离就是
二叉树中任意两个节点的距离
线上幽灵
08-23 8050
题目： 一个普通二叉树，如何找到两个给定节点之间的距离？ ，其中二叉树中每个结点的值都不相同 代码： #include <iostream> #include <vector> #include <queue> using namespace std; stru
节点间的距离计
Y_Lufei的博客
10-30 134
同一节点上，他们距离是0。 2.同一机架不同节点之间距离是1，所以1+1=2。 3.同一集群不同机架的节点，不同节点不同机架的距离是1和2。所以距离是4 4.同一个数据中心不同集群的节点，节点到数据中心距离是3，所以距离是6. ...
编程之美: 求二叉树中节点的最大距离
知之可否
06-16 2204
问题定义 如果我们把二叉树看成一个图，父子节点之间的连线看成是双向的，我们姑且定义"距离"为两节点之间边的个数。写一个程序求一棵二叉树中相距最远的两个节点之间的距离。 书上的解法 书中对这个问题的分析是很清楚的，我尝试用自己的方式简短覆述。 计算一个二叉树的最大距离有两个情况: 情况A: 路径经过左子树的最深节点，通过根节点，再到右子树的最深节点。情况B: 路
获取元素到窗口距离_滑动窗口算法
weixin_33622153的博客
01-15 521
一、滑动窗口的概念顾名思义，就像一个滑动的窗口，套在一个序列中，左右的滑动，窗口内就是一个内容集。二、滑动窗口算法举例LeetCode_209长度最小的子数组（https://leetcode-cn.com/problems/minimum-size-subarray-sum/）给定一个含有 n 个正整数的数组和一个正整数 s ，找出该数组中满足其和 ≥ s 的长度最小的连续子数组。如果不存在符合...
hadoop3个节点的完全分布怎么弄
03-31
完全分布式的Hadoop集群需要至少3个节点，其中包括1个NameNode和2个DataNode。下面是完全分布式Hadoop集群的配置步骤： 1. 确保每个节点都安装了Java和Hadoop，并且所有节点的版本相同。 2. 确保每个节点都有一个唯一的主机名和IP地址，并且这些信息都可以在每个节点之间互相访问。 3. 在NameNode节点上编辑hadoop-env.sh文件，并设置JAVA_HOME变量。 4. 在NameNode节点上编辑core-site.xml文件，并添加以下内容： ``` <property> <name>fs.defaultFS</name> <value>hdfs://namenode_hostname:9000</value> </property> ``` 5. 在NameNode节点上编辑hdfs-site.xml文件，并添加以下内容： ``` <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/path/to/name_node_directory</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/path/to/data_node_directory</value> </property> ``` 6. 在DataNode节点上编辑core-site.xml文件，并添加以下内容： ``` <property> <name>fs.defaultFS</name> <value>hdfs://namenode_hostname:9000</value> </property> ``` 7. 在DataNode节点上编辑hdfs-site.xml文件，并添加以下内容： ``` <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/path/to/name_node_directory</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/path/to/data_node_directory</value> </property> ``` 8. 在每个节点上启动Hadoop服务，使用以下命令： ``` $ start-dfs.sh ``` 9. 确认Hadoop服务已经成功启动，使用以下命令： ``` $ jps ``` 可以看到以下进程： - NameNode - DataNode - SecondaryNameNode - ResourceManager - NodeManager 以上就是完全分布式的Hadoop集群的配置步骤。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值