Hadoop3.3.4 + HDFS Router-Based Federation配置

于 2024-06-21 14:34:09 发布
阅读量932 收藏 18
点赞数 26
文章标签： hdfs hadoop rbf Federation
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/snipercai/article/details/139805766
版权

一、HDFS Router-based Federation

        官方文档见：

Apache Hadoop 3.4.0 – HDFS Router-based Federationicon-default.png?t=N7T8https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs-rbf/HDFSRouterFederation.html

二、集群规划

        本次测试采用6台虚拟机创建了2套HDFS集群，操作系统版本为centos7.6，Hadoop版本为3.3.4，其中Namenode采用HA高可用架构。

集群IP地址主机名fc zkHDFSrouterstatestore zk
ClusterA
ccns		192.168.121.101node101.cc.localserver.1

NameNode

DataNode

JournalNode

ClusterA
ccns		192.168.121.102node102.cc.localserver.2

NameNode

DataNode

JournalNode

ClusterA
ccns		192.168.121.103node103.cc.localserver.3

DataNode

JournalNode

dfsrouter
ClusterB
ccns02		192.168.121.104node104.cc.localserver.1

NameNode

DataNode

JournalNode

server.1
ClusterB
ccns02		192.168.121.105node105.cc.localserver.2

NameNode

DataNode

JournalNode

server.1
ClusterB
ccns02		192.168.121.106node106.cc.localserver.3

DataNode

JournalNode

dfsrouterserver.1

三、配置ClusterA集群

1、配置core-site.xml

  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://ccns</value>
  </property>

2、配置hdfs-site.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
--><!-- Put site-specific property overrides in this file. --><configuration>
  <property>
    <name>dfs.nameservices</name>
    <value>ccns,ccns02,ccrbf</value>
  </property>
  <property>
    <name>dfs.ha.namenodes.ccns</name>
    <value>nn1,nn2</value>
  </property>
  <property>
    <name>dfs.ha.namenodes.ccns02</name>
    <value>nn1,nn2</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.ccns.nn1</name>
    <value>node101.cc.local:9000</value>
  </property>
  <property>
    <name>dfs.namenode.servicerpc-address.ccns.nn1</name>
    <value>node101.cc.local:9040</value>
  </property>
  <property>
    <name>dfs.namenode.https-address.ccns.nn1</name>
    <value>node101.cc.local:9871</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.ccns.nn2</name>
    <value>node102.cc.local:9000</value>
  </property>
  <property>
    <name>dfs.namenode.servicerpc-address.ccns.nn2</name>
    <value>node102.cc.local:9040</value>
  </property>
  <property>
    <name>dfs.namenode.https-address.ccns.nn2</name>
    <value>node102.cc.local:9871</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.ccns02.nn1</name>
    <value>node104.cc.local:9000</value>
  </property>
  <property>
    <name>dfs.namenode.servicerpc-address.ccns02.nn1</name>
    <value>node104.cc.local:9040</value>
  </property>
  <property>
    <name>dfs.namenode.https-address.ccns02.nn1</name>
    <value>node104.cc.local:9871</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.ccns02.nn2</name>
    <value>node105.cc.local:9000</value>
  </property>
  <property>
    <name>dfs.namenode.servicerpc-address.ccns02.nn2</name>
    <value>node105.cc.local:9040</value>
  </property>
  <property>
    <name>dfs.namenode.https-address.ccns02.nn2</name>
    <value>node105.cc.local:9871</value>
  </property>
  <property>
    <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://node101.cc.local:8485;node102.cc.local:8485;node103.cc.local:8485;node104.cc.local:8485;node105.cc.local:8485;node106.cc.local:8485/ccns</value>
  </property>
  <!-- 配置失败自动切换实现方式,客户端连接可用状态的NameNode所用的代理类,默认值：org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider -->
  <property>
    <name>dfs.client.failover.proxy.provider.ccns</name>
 <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>

  <!-- 配置隔离机制,HDFS的HA功能的防脑裂方法。建议使用sshfence(hadoop:9922)，括号内的是用户名和端口，注意，2台NN之间可免密码登陆.sshfences是防止脑裂的方法，保证NN中仅一个是Active的，如果2者都是Active的，新的会把旧的强制Kill -->
  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
  </property>
  
  <!-- 开启NameNode失败自动切换 -->
  <property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>
  
  <!-- 指定上述选项ssh通讯使用的密钥文件在系统中的位置 -->
  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/home/hadoop/.ssh/id_rsa</value>
  </property>

  <!-- 指定JournalNode在本地磁盘存放数据的位置。 -->
  <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/opt/hadoop/hadoop-3.3.4/data/journalnode</value>
  </property>
  
  <!--配置namenode存放元数据的目录，默认放到hadoop.tmp.dir下-->
  <property>   
    <name>dfs.namenode.name.dir</name>   
    <value>file:///opt/hadoop/hadoop-3.3.4/data/namenode</value>   
  </property>   

  <!--配置datanode存放元数据的目录，默认放到hadoop.tmp.dir下-->
  <property>   
    <name>dfs.datanode.data.dir</name>   
    <value>file:///opt/hadoop/hadoop-3.3.4/data/datanode</value>    
  </property>

  <!-- 打印客户端真实IP -->
  <property>
    <name>hadoop.caller.context.enabled</name>
    <value>true</value>
  </property>

  <!-- 副本数量配置 -->
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>

  <!-- JournalNode的HTTP地址和端口。端口设置为0表示随机选择。-->
  <property>
    <name>dfs.journalnode.http-address</name>
    <value>0.0.0.0:8480</value>
  </property>

  <!-- JournalNode RPC服务地址和端口-->
  <property>
    <name>dfs.journalnode.rpc-address</name>
    <value>0.0.0.0:8485</value>
  </property>
  
  <!--设置用户的操作权限，false表示关闭权限验证，任何用户都可以操作-->                            <property>   
    <name>dfs.permissions</name>   
    <value>true</value>   
  </property>
  <property>
    <name>dfs.permissions.enabled</name>
    <value>true</value>
   </property>
  <property>
    <name>dfs.namenode.inode.attributes.provider.class</name>
    <value>org.apache.ranger.authorization.hadoop.RangerHdfsAuthorizer</value>
  </property>
  <property>
    <name>dfs.permissions.ContentSummary.subAccess</name>
    <value>true</value>
  </property>

  <!-- 访问DataNode数据块时需通过Kerberos认证 -->
  <property>
    <name>dfs.block.access.token.enable</name>
    <value>true</value>
  </property>

  <!-- NameNode服务的Kerberos主体,_HOST会自动解析为服务所在的主机名 -->
  <property>
    <name>dfs.namenode.kerberos.principal</name>
    <value>hadoop/_HOST@CC.LOCAL</value>
  </property>

  <!-- NameNode服务的Kerberos密钥文件路径 -->
  <property>
    <name>dfs.namenode.keytab.file</name>
    <value>/etc/security/keytab/hadoop.keytab</value>
  </property>

  <!-- DataNode服务的Kerberos主体 -->
  <property>
    <name>dfs.datanode.kerberos.principal</name>
    <value>hadoop/_HOST@CC.LOCAL</value>
  </property>

  <!-- DataNode服务的Kerberos密钥文件路径 -->
  <property>
    <name>dfs.datanode.keytab.file</name>
    <value>/etc/security/keytab/hadoop.keytab</value>
  </property>

  <!-- JournalNode服务的Kerberos主体 -->
  <property>
    <name>dfs.journalnode.kerberos.principal</name>
    <value>hadoop/_HOST@CC.LOCAL</value>
  </property>

  <!--  JournalNode服务的Kerberos密钥文件路径 -->
  <property>
    <name>dfs.journalnode.keytab.file</name>
    <value>/etc/security/keytab/hadoop.keytab</value>
  </property>

  <!-- Web服务的Kerberos主体 -->
  <property>
    <name>dfs.namenode.kerberos.internal.spnego.principal</name>
    <value>hadoop/_HOST@CC.LOCAL</value>
  </property>

  <!-- WebHDFS REST服务的Kerberos主体 -->
  <property>
    <name>dfs.web.authentication.kerberos.principal</name>
    <value>hadoop/_HOST@CC.LOCAL</value>
  </property>

  <!-- Web UI的Kerberos密钥文件路径 -->
  <property>
    <name>dfs.web.authentication.kerberos.keytab</name>
    <value>/etc/security/keytab/hadoop.keytab</value>
  </property>

  <!-- 启用DataNode之间的统计信息收集-->
  <property>
    <name>dfs.datanode.peer.stats.enabled</name>
    <value>true</value>
  </property>

  <!-- 配置DataNode数据传输保护策略为仅认证模式 -->
  <property>
    <name>dfs.data.transfer.protection</name>
    <value>authentication</value>
  </property>

  <property>
    <name>dfs.http.policy</name>
    <value>HTTPS_ONLY</value>
  </property>

</configuration>

注意：
1、rbf服务会监听namenode的jxm数据，需要请求web地址获取监控数据，如果因为HDFS安全模式仅开放https的web访问即dfs.http.policy为HTTPS_ONLY，需要配置dfs.namenode.https-address项，而不能配置dfs.namenode.http-address
2、rbf服务启动后需要

3、配置hdfs-rbf-site.xml

        从Hadoop-3.3.0 及以后版本，RBF作为一个单独模块从HDFS独立出来了，配置文件为hdfs-rbf-site.xml，其中Router主要的端口有3个：

  • dfs.federation.router.rpc-address: Router的默认RPC端口8888, Client发送RPC到此
  • dfs.federation.router.admin-address: Router的默认routeradmin命令端口8111
  • dfs.federation.router.https-address: Router的默认UI地址50072

<configuration>
  <!-- the default name service specifies the cluster A --> 
  <property>
    <name>dfs.federation.router.default.nameserviceId</name>
    <value>ccns</value>
  </property>
  <property>
    <name>dfs.federation.router.default.nameservice.enable</name>
    <value>true</value>
  </property>
  <!-- StateStore specify the ZooKeeper --> 
  <property>
    <name>dfs.federation.router.store.driver.class</name>  
    <value>org.apache.hadoop.hdfs.server.federation.store.driver.impl.StateStoreZooKeeperImpl</value>
  </property>
  <!-- ZK -->
  <property>
    <name>hadoop.zk.address</name>
    <value>node104.cc.local:2181,node105.cc.local:2181,node106.cc.local:2181</value>
  </property>
  <!-- Store ZK path -->
  <property>
    <name>dfs.federation.router.store.driver.zk.parent-path</name>
    <value>/hdfs-federation</value>
  </property>
  <!-- If Router and NameNode the same host True --> 
  <property>
    <name>dfs.federation.router.monitor.localnamenode.enable</name>
    <value>false</value>
  </property>
  <!-- Specifies the routing destination of the NameNode --> 
  <property>
    <name>dfs.federation.router.monitor.namenode</name>
    <value>ccns.nn1,ccns.nn2,ccns02.nn1,ccns02.nn2</value>
  </property>
  <property>
    <name>dfs.federation.router.quota.enable</name>
    <value>true</value>
  </property>
  <property>
    <name>dfs.federation.router.cache.ttl</name>
    <value>10s</value>
  </property>
  <property>
    <name>dfs.federation.router.rpc.enable</name>
    <value>true</value>
  </property>
  <property>
    <name>dfs.federation.router.rpc-address</name>
    <value>0.0.0.0:8888</value>
  </property>
  <property>
    <name>dfs.federation.router.rpc-bind-host</name>
    <value>0.0.0.0</value>
  </property>
  <property>
    <name>dfs.federation.router.handler.count</name>
    <value>20</value>
  </property>
  <property>
    <name>dfs.federation.router.handler.queue.size</name>
    <value>200</value>
  </property>
  <property>
    <name>dfs.federation.router.reader.count</name>
    <value>5</value>
  </property>
  <property>
    <name>dfs.federation.router.reader.queue.size</name>
    <value>100</value>
  </property>
  <property>
    <name>dfs.federation.router.connection.pool-size</name>
    <value>6</value>
  </property>
  <property>
    <name>dfs.federation.router.metrics.enable</name>
    <value>true</value>
  </property>
  
  <!-- client routing --> 
  <property>
    <name>dfs.client.failover.random.order</name>
    <value>true</value>
  </property>
  <!-- If you want to enable the mount function of multiple clusters --> 
  <property>
    <name>dfs.federation.router.file.resolver.client.class</name>
    <value>org.apache.hadoop.hdfs.server.federation.resolver.MultipleDestinationMountTableResolver</value>
  </property>
  
  <!-- kerberos --> 
  <property>
    <name>dfs.federation.router.keytab.file</name>
    <value>/etc/security/keytab/hadoop.keytab</value>
  </property>
  <property>
    <name>dfs.federation.router.kerberos.principal</name>
    <value>hadoop/_HOST@CC.LOCAL</value>
  </property>
  <property>
    <name>dfs.federation.router.kerberos.internal.spnego.principal</name>
    <value>hadoop/_HOST@CC.LOCAL</value>
  </property>
  <!-- secret.manager --> 
  <property>
  <name>dfs.federation.router.secret.manager.class</name>
  <value>org.apache.hadoop.hdfs.server.federation.router.security.token.ZKDelegationTokenSecretManagerImpl</value>
  </property>
  <property>
    <name>zk-dt-secret-manager.zkAuthType</name>
    <value>none</value>
  </property>
  <property>
    <name>zk-dt-secret-manager.zkConnectionString</name>
    <value>node104.cc.local:2181,node105.cc.local:2181,node106.cc.local:2181</value>
  </property>
  <property>
    <name>zk-dt-secret-manager.kerberos.keytab</name>
    <value>/etc/security/keytab/hadoop.keytab</value>
  </property>
  <property>
    <name>zk-dt-secret-manager.kerberos.principal</name>
    <value>hadoop/_HOST@CC.LOCAL</value>
  </property>
</configuration>

注意：
1、默认router的namespace需要配置为本集群的服务名称，ClusterA集群为ccns，CluserB集群就应该为ccns02
2、选择zk来作为statestore需要配置hadoop.zk.address，用来指定zk地址
3、dfs.federation.router.monitor.localnamenode.enable配置为false，因为rbf跟namenode不是在同个节点，监听时就会从配置文件中查找namenode的web地址，而不是查找localhost
4、dfs.federation.router.monitor.namenode配置所有需要监听的namenode
5、需要指定secret manager相关配置，不然rbf启动时，secret manager启动报错zookeeper connectione string为null，导致rbf启动失败，相关配置项如下：dfs.federation.router.secret.manager.class，zk-dt-secret-manager.zkAuthType，zk-dt-secret-manager.zkConnectionString，zk-dt-secret-manager.kerberos.keytab，zk-dt-secret-manager.kerberos.principal

四、配置ClusterB集群

1、配置core-site.xml

  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://ccns02</value>
  </property>

2、配置hdfs-site.xml

   与ClusterA集群配置基本相同，可参考。

3、配置配置hdfs-rbf-site.xml

   与ClusterA集群配置基本相同，唯一区别在于默认router的namespace需要配置为本集群的服务名称，ClusterA集群为ccns，ClusterB集群就应该时ccns02

五、启动集群服务

1、初始化ClusterB集群

        因为ClusterA之前验证中已创建好，所以本次除了修改其配置文件后重启之外，为了不丢失其上已有数据，只需要初始化ClusterB集群，相关步骤可参考新建集群部分的内容。

###在新集群的所有namenode节点上执行###
hdfs zkfc -formatZK
hdfs --daemon start zkfc
###在所有分配journalnode的节点上执行###
hdfs --daemon start journalnode
###选择NN1节点执行初始化，指定与Cluster A 相同的clusterId###
hdfs namenode -format -clusterId CID-a39855c3-952d-4d1f-86d7-eadf282d9000
hdfs --daemon start namenode
###选择NN2节点执行并启动服务###
hdfs namenode -bootstrapStandby
hdfs --daemon start namenode
###启动datanode###
hdfs --daemon start datanode

注意：clusterId可以在data目录下/opt/hadoop/hadoop-3.3.4/data/namenode/current/VERSION文件中查询获得。

2、启动router服务

hdfs --daemon start dfsrouter

        Router WebUI：https://192.168.121.103:50072/

3、配置挂载目录

        通过routeradmin命令增删改查路由表，dfsrouteradmin命令只能在 router所在节点执行

hdfs dfsrouteradmin -add /ccnsRoot ccns /
hdfs dfsrouteradmin -add /ccns02Root ccns02 /

        通过router查看

$ hdfs dfs -ls hdfs://node103.cc.local:8888/
Found 2 items
drwxr-xr-x   - hadoop supergroup          0 2024-06-20 17:12 hdfs://node103.cc.local:8888/ccns02Root
drwxr-xr-x   - hadoop supergroup          0 2024-06-20 17:12 hdfs://node103.cc.local:8888/ccnsRoot

六、附常用命令

# 核心是add(添加)命令, 有这些选项:
# -readonly -owner <owner> -group <group> -mode <permission> ?(通用)
# -faulttolerant -order [HASH|LOCAL|RANDOM|HASH_ALL|SPACE] (多映射专用)

1、添加一个映射, 用户test, 组admin
hdfs dfsrouteradmin -add /ccnsRoot/test ccns /test -owner test -group admin

2、添加一个映射, 读写权限设置为750
hdfs dfsrouteradmin -add /ccnsRoot/test2 ccns /test2 -mode 750

3、添加一个映射, 希望此目录是只读, 任何用户不可写入的
hdfs dfsrouteradmin -add /ccnsRoot/test3 sc1 /test3 -readonly

4、添加多(NS)对一映射, 让2个NS指向1个目录, 容忍多操作失败 (默认hash策略)
hdfs dfsrouteradmin -add /rbftmp1 ccns,ccns02 /tmp1 -faulttolerant

5、添加多对一映射, 让2个NS指向1个目录 (使用优选最近策略)
hdfs dfsrouteradmin -add /rbftmp2 ccns,ccns02 /tmp2 -order LOCAL

6、查看目前的mount信息
hdfs dfsrouteradmin -ls

7、修改已经创建过的映射, 参数同add (重复add不会覆盖已有)
hdfs dfsrouteradmin -update /ccnsRoot/test2 ccns /test2 -mode -mode 500

8、删除映射记录, 只用写映射的路径(source)
hdfs dfsrouteradmin -rm /ccnsRoot/test2

9、立刻刷新本机router同步操作, 默认ns才会同步刷新
/hdfs dfsrouteradmin -refresh

10、开启/关闭NS (后跟NS名)
hdfs dfsrouteradmin -nameservice enable/disbale sc1

11、获取关闭的NS
hdfs dfsrouteradmin -getDisabledNameservices

12、设置Router-Quota (生效需要修改配置文件么?)
# nsQuota代表文件数, ssQuota代表大小(单位字节)
hdfs dfsrouteradmin -setQuota /rbftmp1 -nsQuota 2 -ssQuota 2048

snipercai
关注
  • 26
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
HDFS基于路由的Federation方案
fighting_DW
11-28 492
HDFS基于路由的Federation方案
hadoop3.X版本特性：路由器联邦
nothair的博客
11-30 2121
2020/11/15 shq000912@163.com 文章目录一、路由器联邦（Router-based Federation/RBF）1.1背景1.2代理服务-Router层次设计1.3可用性和容错能力1.4接口1.5配额管理1.6 客户端-路由器配置(详见官网文档) 一、路由器联邦（Router-based Federation/RBF） 1.1背景 在 HDFS 单集群的架构中，随着集群规模的扩大，Block Manager 和Namespace 会消耗掉 NameNode 越来越多的资源，最终
hadoop-3.3.4 版本（最新版）
12-14
Apache Hadoop （hadoop-3.3.4.tar.gz）项目为可靠、可扩展的分布式计算开发开源软件。官网下载速度非常缓慢，因此将hadoop-3.3.4 版本放在这里，欢迎大家来下载使用！ Hadoop 架构是一个开源的、基于 Java 的编程框架，设计用于跨电脑集群来 处理大数据。Hadoop 是一个能够让用户轻松搭建和使用的分布式计算平台，能 够让用户轻松地在 Hadoop 上开发和运行处理海量数据的应用程序。 Hadoop 架构有两个主要的组件：分布式文件系统 HDFS 和 MapReduce 引擎。 在 Hadoop 中，MapReduce 底层的分布式文件系统是独文模块，用户可按照约定 的一套接口实现自己的分布式文件系统，然后经过简单的配置后，存储在该文件 系统上的数据便可以被 MapReduce 处理。 官网下载速度非常缓慢，因此将hadoop-3.3.4 版本放在这里，欢迎大家来下载使用！
HDFS Router-based Federation
weixin_30867015的博客
07-11 805
本文讲述了 HDFS Router-based Federation 的架构和特性。上期回顾：漫谈Hbase FilterAbstractHadoop 社区为了解决 HDFS 横向扩展的问题，早前的版本中实现了基于 ViewFs 的 Federation 架构，而在最新的 Hadoop 版本中，社区又实现了基于 Router 的 Federatio n架构，并且在这个架构之上还实现了许多增强集群管...
【hadoop】Hadoop 3.3.4 集群安装及简单使用
東₂₀₂₃²⁰²³
12-08 1594
Hadoop3.3.4 集群安装及简单配置
大数据Hadoop之——Hadoop 3.3.4 HA（高可用）原理与实现（QJM）
匠人精神，持之以恒！
08-20 2797
在 Hadoop 2.0.0 之前，一个集群只有一个Namenode，这将面临单点故障问题。如果 Namenode 机器挂掉了，整个集群就用不了了。只有重启 Namenode ，才能恢复集群。另外正常计划维护集群的时候，还必须先停用整个集群，这样没办法达到 7 * 24小时可用状态。Hadoop 2.0 及之后版本增加了 Namenode 高可用机制，下面详细介绍。
大数据安装之hadoop-3.3.4
09-11 3828
hadoop3安装及问题
HDFS Router-Based Federation Rebalancer.pdf_hdfs_
10-01
《HDFS Router-Based Federation Rebalancer》是针对Hadoop分布式文件系统（HDFS）中联邦均衡器的一个深度探讨。在HDFS中，联邦是一种扩展性的实现方式，它允许多个独立的命名空间（NameSpaces）并存，每个命名空间...
hadoop3.3.4 winutils
12-18
Hadoop是大数据处理领域的重要框架，它以分布式计算模型为基础，提供高可靠性和高...提供的压缩包中的`hadoop-3.3.4`包含了所有必要的源码和编译后的库文件，而`说明.txt`则可能包含了编译和使用这些文件的详细指导。
hadoop-3.3.4.tar.gz + winutils 安装环境
08-03
【开发环境】安装 Hadoop 运行环境 ( 下载 Hadoop | 解压 Hadoop | 设置 Hadoop 环境变量 | 配置 Hadoop 环境脚本 | 安装 winutils ) https://hanshuliang.blog.csdn.net/article/details/132045605 一、下载 ...
hadoop-hdfs-client-2.9.1-API文档-中文版.zip
04-07
赠送jar包：hadoop-hdfs-client-2.9.1.jar 赠送原API文档：hadoop-hdfs-client-2.9.1-javadoc.jar 赠送源代码：hadoop-hdfs-client-2.9.1-sources.jar 包含翻译后的API文档：hadoop-hdfs-client-2.9.1-javadoc-...
Hadoop笔记
pyml_kdl的博客
05-07 262
内容来源菜鸟教程 概念理解 Hadoop 整体设计 Hadoop 框架是用于计算机集群大数据处理的框架，所以它必须是一个可以部署在多台计算机上的软件。部署了 Hadoop 软件的主机之间通过套接字 (网络) 进行通讯。 Hadoop 主要包含 HDFS 和 MapReduce 两大组件，HDFS 负责分布储存数据，MapReduce 负责对数据进行映射、规约处理，并汇总处理结果。 Hadoop 框架最根本的原理就是利用大量的计算机同时运算来加快大量数据的处理速度。例如，一个搜索引擎公司要从上万亿条没有进行规
【大数据】Hadoop-3.3.4完全分布式安装（包含VMware16和Ubuntu22的下载安装及配置）、搭建、配置教程，以及Hadoop基础简介
热门推荐
weixin_52185996的博客
09-05 1万+
注：本篇文章主要涉及到：HDFS（分布式文件系统）、YARN（资源管理和调度框架）、以及MapReduce（离线计算）。以下就是本篇文章所采用的的架构。注：上述的master、slave1、slave2均是主机名（结点名），可以和本篇文章不一致，但下面所有涉及到的地方均需和你这里的主机名一致，如何修改文章后面部分会进行介绍。① NameNode ：NameNode是HDFS部分的核心；NameNode又称为Master，储存着HDFS的元数据（即分布式文件系统中所有文件的目录树，并且跟踪追查整个Hadoop
HDFS之Router-based Federation
zincooo的博客
08-02 907
最简单的实现是在每个Namenode的机器上部署Router，但是为了高可用及灵活性，会使用多个Router监控同一个Namenode(State Store中冲突的信息由quorum解决)，这样即使Router失败也不会导致有问题。对于监控的Namenode，如果Router联系不到了active的Namenode，它会首先尝试访问standby Namenode，再去访问联系不上的Namenode。它能够管理并维护集群namespace的状态，将请求转发到正确的子集群，并且支持跨子集群的数据均衡。
【HDFS】 bugfix: router getContentSummary rpc的bug修复
Badme
12-14 649
【HDFS】 bugfix: router getContentSummary rpc的bug修复
hadoop集群不停服上线 hadoop router
zhangxiping
04-12 253
hadoop router 是解决单个NS 瓶颈的组件。
【HDFS联邦（2）】HDFS Router-based Federation官网解读：HDFSRouterFederation的架构、各组件基本原理
最新发布
hiliang521的博客
12-27 1412
>本文主要参考官网：[HDFSRouterFederation](https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs-rbf/HDFSRouterFederation.html) 对HDFSRouterFederation进行了解读： >1. viewfs会带来的问题，HDFSRouterFederation是如何解决的 >2. HDFSRouterFederation的架构、各组件基本原理说明
HDFS Router based基本概念
weixin_42305433的博客
08-10 2225
HDFS Router based基本概念背景整体架构关于Router关于Quota关于State Store关于安全关于部署关于挂载表如何增加一个挂载表Quotas的使用多个子集群的场景disable掉一个NameServiceRouter的一般刷新方式客户端配置Router的配置描述 背景 近期项目考虑解决HDFS节点的上限问题，HDFS单个的NameNode对存储、计算资源的限制，主要原因在单个NameNode存在瓶颈，所有文件索引信息以及HDFS Client的请求都集中在单个节点的服务，因此需要对
hadoop中hdfs.site-xml配置
03-16
hadoop中hdfs-site.xml是Hadoop分布式文件系统（HDFS）的配置文件之一。它包含了HDFS的各种配置参数，如数据块大小、副本数量、数据节点的存储路径等。在Hadoop集群中，每个节点都需要配置hdfs-site.xml文件，以确保HDFS正常运行。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

snipercai

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值