Hadoop记录-Federation联邦机制

最新推荐文章于 2020-09-09 23:08:20 发布
最新推荐文章于 2020-09-09 23:08:20 发布
阅读量421 收藏 1
点赞数
原文链接：http://www.cnblogs.com/xinfang520/p/10397360.html
版权

在Hadoop2.0之前，HDFS的单NameNode设计带来诸多问题： 

单点故障、内存受限，制约集群扩展性和缺乏隔离机制（不同业务使用同一个NameNode导致业务相互影响）等
为了解决这些问题，除了用基于共享存储的HA解决方案我们还可以用HDFS的Federation机制来解决这个问题。
【单机namenode的瓶颈大约是在4000台集群，而后则需要使用联邦机制】

什么是Federation机制
Federation是指HDFS集群可使用多个独立的NameSpace(NameNode节点管理)来满足HDFS命名空间的水平扩展
这些NameNode分别管理一部分数据，且共享所有DataNode的存储资源。

NameSpace之间在逻辑上是完全相互独立的(即任意两个NameSpace可以有完全相同的文件名)。在物理上可以完全独立(每个NameNode节点管理不同的DataNode)也可以有联系(共享存储节点DataNode)。一个NameNode节点只能管理一个Namespace

Federation机制解决单NameNode存在的以下几个问题
（1）HDFS集群扩展性。每个NameNode分管一部分namespace，相当于namenode是一个分布式的。
（2）性能更高效。多个NameNode同时对外提供服务，提供更高的读写吞吐率。
（3）良好的隔离性。用户可根据需要将不同业务数据交由不同NameNode管理，这样不同业务之间影响很小。
（4）Federation良好的向后兼容性，已有的单Namenode的部署配置不需要任何改变就可以继续工作。

Federation是简单鲁棒的设计
鲁棒性（健壮和强壮）：在输入错误、磁盘故障、网络过载或有意攻击情况下，能否不死机、不崩溃

由于联盟中各个Namenode之间是相互独立的：Federation整个核心设计大部分改变是在Datanode、Config和Tools，而Namenode本身的改动非常少，这样Namenode原先的鲁棒性不会受到影响。比分布式的Namenode简单，虽然扩展性比真正的分布式的Namenode要小些，但是可以迅速满足需求。

另外一个原因是Federation良好的向后兼容性，可以无缝的支持目前单Namenode架构中的配置。已有的单Namenode的部署配置不需要任何改变就可以继续工作。

Federation不足之处
HDFS Federation并没有完全解决单点故障问题。虽然namenode/namespace存在多个，但是从单个namenode/namespace看，仍然存在单点故障。因此 Federation中每个namenode配置成HA高可用集群，以便主namenode挂掉一下，用于快速恢复服务。
Federation 架构

Federation方案的基本思路就是使用多个独立的NameSpace(NameNode节点管理)来满足HDFS命名空间的水平扩展,NameSpace之间在逻辑上是完全相互独立的(即任意两个NameSpace可以有完全相同的文件名),而在物理上可以完全独立(NameNode节点管理不同的DataNode)也可以有联系(共享存储节点DataNode)很显然,任何一个NameNode节点只能管理一个Namespace.这种在逻辑上无法统一命名空间的设计对于初学者来说,可能会常常踩到文件名冲突或文件不存在的陷阱中.很显然,任何一个NameNode节点只能管理一个Namespace.

为了水平扩展namenode，federation使用了多个独立的namenode/namespace
这些namenode之间相互独立且不需要互相协调，各自分工，管理自己的区域。分布式的datanode被用作通用的数据块存储存储设备。每个datanode要向集群中所有的namenode注册，且周期性地向所有namenode发送心跳和块报告，并执行来自所有namenode的命令。

每个namenode维护一个命名空间卷（namespace volume）
由命名空间的元数据和一个数据块池组成，数据块池（block pool）包含该命名空间下文件的所有数据块。

命名空间卷之间相互独立
两两之间并不互相通信，甚至其中一个namenode的失效也不会影响由其他namenode维护的命名空间的可用性。

一个namespace和它的blockpool作为一个管理单元（称为namespace volume）
数据块池不再切分，则集群中的DataNode需要注册到每个namenode，并且存储着来自多个数据块池中的数据块。当namenode/namespace被删除后，其所有datanode上对应的block pool也会被删除。集群升级时，这个管理单元也独立升级。

 NameNode的HA

实现NameNode的HA方案,最重要的部分就是需要一个共享式的存储系统来实时存储NameNode的操作日志,而这种共享式的存储系统必须要满足两个基本条件:一是自身必须要高可用,二是保证强一致性.目前,Hadoop-2.x使用Quorum Journal Manager(QJM)来实现操作日志的共享,QJM是一个比ZooKeeper要轻量级的分布式存储系统,所使用的一致性约束条件远远不如paxos,raft等高可用的一致性算法.HDFS抽象出了一个日志接口JournalManager来屏蔽底层对操作日志存储的实现细节,目前主要有三种实现:

  1. + JournalManager
  2.  -FileJournalManager
  3.  -QuorumJournalManager
  4.  -BackupJournalManager

FileJournalManager将操作日志写入本地文件系统中,QuorumJournalManager将操作日志写入QJM中来实现主/备NameNode之间的操作日志共享,BackupJournalManager将操作日志实时的推送给backup的NameNode节点.QuorumJournalManager为了保证性能,采用了异步并发的方式将操作日志刷入所有的JournalNode节点

 

 

配置的HA的HDFS,所有NameSpace的NameNode节点在启动加载完元数据之后都处于Standby状态,之后被手动或自动的选择一个NameNode节点作为Active节点而开始正常工作.HA的自动方式是通过在每一个NameNode的本地启动一个守护进程ZKFailoverController来竞争Active NameNode的,ZKFailoverController除了为本地的NameNode争取Active角色之外,还负责监控本地的NN节点当前是否正常的,一旦它发现本地的NN不正常,要么主动替当前的Active NN退出Active角色或退出Active的竞争.

DistributedFileSystem的容错Proxy

HDFS的HA方案并不只是保证NameNode节点的高可用,还得保证客户端能够对用户透明的容忍主/备NameNode节点之间的切换.目前客户端对HA方案的实现方式主要是通过重试的机制来完成的.

 

简述

hadoop 集群一共有4种部署模式，详见《hadoop 生态圈介绍》。
HA联邦模式解决了单纯HA模式的性能瓶颈（主要指Namenode、ResourceManager），将整个HA集群划分为两个以上的集群，不同的集群之间通过Federation进行连接，使得HA集群拥有了横向扩展的能力。理论上，在该模式下，能够通过增加计算节点以处理无限增长的数据。联邦模式下的配置在原HA模式的基础上做了部分调整。

所有四种模式的部署指南见：
hadoop 伪分布式搭建指南
hadoop 完全分布式搭建指南
hadoop HA高可用集群模式搭建指南
hadoop HA+Federation（联邦）模式搭建指南

搭建过程

系统环境

Ubuntu 14.04 x64 Server LTS
Hadoop 2.7.2
vagrant 模拟4台主机，内存都为2G

集群节点规划
IP主机名角色描述集群
192.168.100.201h01.vm.comnamenode-ns1-nn1, zkfc, QuorumPeerMain, resourcemanagerns1
192.168.100.202h02.vm.comnamenode-ns1-nn2, zkfc, QuorumPeerMain, resourcemanager, journalnode,ns1
192.168.100.203h03.vm.comnamenode-ns2-nn3, zkfc, QuorumPeerMain, journalnode, nodemanager, datanodens2
192.168.100.204h04.vm.comnamenode-ns2-nn4, zkfc, journalnode, nodemanager, datanodens2

上表中：

  1. QuorumPeerMain 是zookeeper集群的入口进程；
  2. zkfc 是 Zookeeper FailoverController 的简称，主要用于实现两个NN之间的容灾。
  3. resourcemanager 是 yarn 中负责资源协调和管理的进程
  4. nodemanager 是 yarn 中单个节点上的代理进程，向 RM 汇报信息，监控该节点资源
  5. datanode 是 hdfs 的工作节点，负责实际的数据存储和任务计算
  6. journalnode 是QJM模式下两个NN节点同步数据的进程，每个HA集群里面的高可用依赖它
  7. ns1,ns2 是集群的逻辑名称
  8. nn1,nn2, nn3, nn4 是集群中NN的逻辑名称

zookeeper 节点需要配置奇数台，一般配置3-7台即可。2000多个节点的集群也仅需要5-9台zk；journalnode与zk类似，也是配置奇数台，且最少需要3台，同样不需要太多；另外zkfc需要在启动namenode的节点上也启动，以保障NN间的心跳机制。

更新软件源索引
  • 分别在 h01 h02 h03 h04 操作
sudo apt-get update
安装基础软件
  • 分别在 h01 h02 h03 h04 操作
sudo apt-get install ssh
sudo apt-get install rsync
配置主机域名
  • 分别在 h01 h02 h03 h04 操作
sudo vim /etc/hostname # centos系统可能没有该文件，创建即可
h01.vm.com # 该节点主机名

将该文件内容修改为对应的主机名，例如 h01.vm.com

域名解析
sudo vim /etc/hosts
192.168.100.201 h01.vm.com h01
192.168.100.202 h02.vm.com h02
192.168.100.203 h03.vm.com h03
192.168.100.204 h04.vm.com h04

!!! Ubuntu系统，须删掉 /etc/hosts 映射 127.0.1.1/127.0.0.1 !!!
Check that there isn't an entry for your hostname mapped to 127.0.0.1 or 127.0.1.1 in /etc/hosts (Ubuntu is notorious for this).
127.0.1.1 h01.vm.com # must remove

不然可能会引起 hadoop、zookeeper 节点间通信的问题

时间同步（生产环境中务必配置）

在内网中搭建 ntp 服务器，可阅读vincent的博文
http://blog.kissdata.com/2014/10/28/ubuntu-ntp.html

准备jdk、hadoop和zookeeper软件包
  • 须到官方网站下载stable版本
    jdk-7u79-linux-x64.tar.gz
    hadoop-2.7.2.tar.gz
    zookeeper-3.4.8.tar.gz
  • 所有的软件包都统一解压到 /home/vagrant/VMBigData 目录下，其中 vagrant 是linux系统的用户名，由于我是使用 vagrant 虚拟的主机，所以默认是 vagrant
  • 在 h01 操作
# 先在其中一台机子操作，后面会使用 scp 命令或者其他方法同步到其他主机
mkdir -p /home/vagrant/VMBigData/hadoop /home/vagrant/VMBigData/java /home/vagrant/VMBigData/zookeeper
tar zxf jdk-7u79-linux-x64.tar.gz -C /home/vagrant/VMBigData/java
tar zxf hadoop-2.7.2.tar.gz -C /home/vagrant/VMBigData/hadoop
tar zxf zookeeper-3.4.8.tar.gz -C /home/vagrant/VMBigData/zookeeper
配置软连接，方便以后升级版本
  • 在 h01 操作，后面通过 scp 同步到其他主机
ln -s /home/vagrant/VMBigData/java/jdk1.7.0_79/  /home/vagrant/VMBigData/java/default
ln -s /home/vagrant/VMBigData/hadoop/hadoop-2.7.2/  /home/vagrant/VMBigData/hadoop/default
ln -s /home/vagrant/VMBigData/zookeeper/zookeeper-3.4.8/ /home/vagrant/VMBigData/zookeeper/default
配置环境变量
  • 分别在 h01 h02 h03 h04 操作
sudo vim /etc/profile
export HADOOP_HOME=/home/vagrant/VMBigData/hadoop/default
export JAVA_HOME=/home/vagrant/VMBigData/java/default
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH source /etc/profile
配置免密码ssh登录

hadoop主节点需要能远程登陆集群内的所有节点（包括自己），以执行命令。所以需要配置免密码的ssh登陆。可选的ssh秘钥对生成方式有rsa和dsa两种，这里选择rsa。

  • 分别在 h01 h02 h03 h04 ，即4个主节点上操作
ssh-keygen -t rsa -C "youremail@xx.com"
# 注意在接下来的命令行交互中，直接按回车跳过输入密码
  • 分别在 h01 h02 h03 h04 上操作。以下命令将本节点的公钥 id_rsa.pub 文件的内容追加到远程主机的 authorized_keys 文件中（默认位于 ~/.ssh/）
ssh-copy-id vagrant@h01.vm.com # vagrant是远程主机用户名
ssh-copy-id vagrant@h02.vm.com
ssh-copy-id vagrant@h03.vm.com
ssh-copy-id vagrant@h04.vm.com
  • 在 h01 h02 h03 h04 上测试无密码 ssh 登录到 h01 h02 h03 h04
ssh h01.vm.com
ssh h02.vm.com
ssh h03.vm.com
ssh h04.vm.com

!!! 注意使用rsa模式生成密钥对时，不要轻易覆盖原来已有的，确定无影响时方可覆盖 !!!

配置从节点

在 slaves 文件中配置的主机即为从节点，将自动运行datanode, nodemanager服务

  • 在 h01 操作，后面通过 scp 同步到其他主机
vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/slaves
h03.vm.com
h04.vm.com

也可以在不同集群里配置不同的从节点

建立存储数据的相应目录
  • 在 h01 操作，后面通过 scp 同步到其他主机
mkdir -p /home/vagrant/VMBigData/hadoop/data/hdfs/tmp
mkdir -p /home/vagrant/VMBigData/hadoop/data/journal/data
mkdir -p /home/vagrant/VMBigData/hadoop/data/pid
mkdir -p /home/vagrant/VMBigData/hadoop/data/namenode1
mkdir -p /home/vagrant/VMBigData/hadoop/data/namenode2
mkdir -p /home/vagrant/VMBigData/hadoop/data/datanode1
mkdir -p /home/vagrant/VMBigData/hadoop/data/datanode2
mkdir -p /home/vagrant/VMBigData/hadoop/data/local-dirs
mkdir -p /home/vagrant/VMBigData/hadoop/data/log-dirs
配置hadoop参数

在 h01 操作，后面通过 scp 同步到其他主机

  • vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/hadoop-env.sh
# export JAVA_HOME=${JAVA_HOME} # 注意注释掉原来的这行
export JAVA_HOME=/home/vagrant/VMBigData/java/default
export HADOOP_PREFIX=/home/vagrant/VMBigData/hadoop/default
# export HADOOP_PID_DIR=${HADOOP_PID_DIR} # 注意注释掉原来的这行
export HADOOP_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid export YARN_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid # export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR} # 注意注释掉原来的这行 export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR}
  • vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/mapred-env.sh
export HADOOP_MAPRED_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid
  • vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/core-site.xml
<?xml version="1.0" encoding="utf-8"?> # <configuration> # 注意此处的修改 <configuration xmlns:xi="http://www.w3.org/2001/XInclude"> <xi:include href="/home/vagrant/VMBigData/hadoop/default/etc/hadoop/cmt.xml" /> # 此处引入federation的额外配置文件 <property> <!-- 指定hdfs的nameservice名称，在 cmt.xml 文件中会引用。注意此处的修改 --> <name>fs.defaultFS</name> <value>viewfs://nsX</value> </property> <!-- 指定hadoop数据存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/home/vagrant/VMBigData/hadoop/data/hdfs/tmp</value> </property> <property> <!-- 注意此处将该配置项从 hdfs-site.xml 文件中迁移过来了 --> <name>dfs.journalnode.edits.dir</name> <value>/home/vagrant/VMBigData/hadoop/data/journal/data</value> </property> <!-- 指定zookeeper地址 --> <property> <name>ha.zookeeper.quorum</name> <value>h01.vm.com:2181,h02.vm.com:2181,h03.vm.com:2181</value> </property> </configuration>
  • vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/cmt.xml
<?xml version="1.0" encoding="utf-8"?> <configuration> <property> <!-- 将 hdfs 的 /view_ns1 目录挂载到 ns1 的NN下管理，整个federation的不同HA集群也是可以读写此目录的，但是在指定路径是需要指定完全路径 --> <name>fs.viewfs.mounttable.nsX.link./view_ns1</name> <value>hdfs://ns1</value> </property> <property> <name>fs.viewfs.mounttable.nsX.link./view_ns2</name> <value>hdfs://ns2</value> </property> <property> <!-- 指定 /tmp 目录，许多依赖hdfs的组件可能会用到此目录 --> <name>fs.viewfs.mounttable.nsX.link./tmp</name> <value>hdfs://ns1/tmp</value> </property> </configuration>
  • vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/hdfs-site.xml
<?xml version="1.0" encoding="utf-8"?> <!-- HDFS-HA 配置 --> <configuration> <property> <!-- 因为集群规划中只配置了2各datanode节点，所以此处只能设置小于2，因为hadoop默认不允许将不同的副本存放到相同的节点上 --> <name>dfs.replication</name> <value>2</value> </property> <property> <!-- 白名单：仅允许以下datanode连接到NN，一行一个，也可以指定一个文件 --> <name>dfs.hosts</name> <value> <!-- ~/VMBigData/hadoop/default/etc/hadoop/hosts.allow --> h01.vm.com h02.vm.com h03.vm.com h04.vm.com </value> </property> <property> <!-- 黑名单：不允许以下datanode连接到NN，一行一个，也可以指定一个文件 --> <name>dfs.hosts.exclude</name> <value></value> </property> <property> <!-- 集群的命名空间、逻辑名称，可配置多个，但是与 cmt.xml 配置对应 --> <name>dfs.nameservices</name> <value>ns1,ns2</value> </property> <property> <!-- 命名空间中所有NameNode的唯一标示。该标识指示集群中有哪些NameNode。目前单个集群最多只能配置两个NameNode --> <name>dfs.ha.namenodes.ns1</name> <value>nn1,nn2</value> </property> <property> <name>dfs.ha.namenodes.ns2</name> <value>nn3,nn4</value> </property> <property> <name>dfs.namenode.rpc-address.ns1.nn1</name> <value>h01.vm.com:9000</value> </property> <property> <name>dfs.namenode.http-address.ns1.nn1</name> <value>h01.vm.com:50070</value> </property> <property> <name>dfs.namenode.rpc-address.ns1.nn2</name> <value>h02.vm.com:9000</value> </property> <property> <name>dfs.namenode.http-address.ns1.nn2</name> <value>h02.vm.com:50070</value> </property> <property> <name>dfs.namenode.rpc-address.ns2.nn3</name> <value>h03.vm.com:9000</value> </property> <property> <name>dfs.namenode.http-address.ns2.nn3</name> <value>h03.vm.com:50070</value> </property> <property> <name>dfs.namenode.rpc-address.ns2.nn4</name> <value>h04.vm.com:9000</value> </property> <property> <name>dfs.namenode.http-address.ns2.nn4</name> <value>h04.vm.com:50070</value> </property> <property> <!-- JournalNode URLs，ActiveNameNode 会将 Edit Log 写入这些 JournalNode 所配置的本地目录即 dfs.journalnode.edits.dir --> <name>dfs.namenode.shared.edits.dir</name> <!-- 注意此处的ns1，当配置文件所在节点处于ns1集群时，此处为ns1，当处于ns2集群时，此处为ns2 --> <value>qjournal://h02.vm.com:8485;h03.vm.com:8485;h04.vm.com:8485/ns1</value> </property> <!-- JournalNode 用于存放 editlog 和其他状态信息的目录 --> <property> <name>dfs.journalnode.edits.dir</name> <value>/home/vagrant/VMBigData/hadoop/data/journal</value> </property> <property> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value> </property> <property> <name>dfs.client.failover.proxy.provider.ns1</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <property> <name>dfs.client.failover.proxy.provider.ns2</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</

转载于:https://www.cnblogs.com/xinfang520/p/10397360.html

weixin_30917213
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
完全分布式模式的Hadoop集群安装
03-22
Linux操作系统下，使用三台虚拟机搭建Hadoop集群，包括实验环境变量的配置，Hadoop集群的安装及测试详细步骤。
hdfs federation 联邦集群配置及原理
weixin_33826609的博客
04-17 569
2019独角兽企业重金招聘Python工程师标准>>> ...
HDFS Federation设计动机与基本原理
十万小时之旅
12-06 298
HDFS Federation是Hadoop最新发布版本Hadoop-0.23.0中为解决HDFS单点故障而提出的namenode水平扩展方案。该方案允许HDFS创建多个namespace以提高集群的扩展性和隔离性。本篇文章主要介绍了HDFS Federation的设计动机和基本原理。 1. 当前HDFS概况 1.1 当前HDFS架构 当前HDFS包含两层结构： （1） Namespa...
Hadoop回顾--HDFS的HA机制&Federation机制
ROGEN1-秀发
09-20 1426
为了解决hadoop集群上所谓的“单点”和单NameNode起作用问题，一群NB的程序员引入了HA和Federation机制。 一、HA机制 1、概念 由于原先的集群中只有一个NameNode，所以一旦这个NameNode出问题或者要升级，整个集群就得停止一段时间。于此，就有了HA机制。 说白了所谓的HA机制就是给NameNode弄了一个热备：给一个HA集群中配置了俩NameNode，平时
HDFS高可用+联邦机制
xiaoxu_xiaoyou的博客
08-28 393
1、HDFS高可用 1.2、组件分析 JournalNode 共享式存储系统 ​ 特点：自身高可用、强一致性 在Hadoop-2.x使用Quorum Journal Manager（QJM）来实现操作日志的共享，QJM是一个比Zookeeper更轻量级的分布式存储系统，所使用的一致性约束条件远远不如paxos，raft等高可用的一致性算法。 ​ Zookeeper 辅助namenode实现...
Hadoop学习笔记之HDFS
Sincere_Cry的博客
04-17 522
HDFS基本概念HDFS是Hadoop Distribute File System 的简称，是Hadoop的一个分布式文件系统。 分布式文件系统是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。HDFS组件构成Namenode & Secondary Namenode负
hadoop环境报failed on connection exception
热门推荐
姬世霆的专栏
02-22 2万+
ls: Call From slaver1/127.0.0.1 to master:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused
hadoop3.3.0-winutils所有bin文件
02-27
hadoop3.3.0-winutils所有bin文件，亲测有效
hadoop3.3.0-winutils.rar
07-27
Hadoop3.3.0在windows下部署开发环境或者远程开发hadoop集群，对应的 hadoop.dll和winutils.exe以及整个bin目录 ，以及安装方法 亲测可用，有什么问题可以在评论描述
Hadoop下载 hadoop-3.3.3.tar.gz
07-06
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不...
module_federation_shared_versions
05-02
示例：模块联合中的版本不匹配和共享库 此示例允许显示共享库之间版本不匹配时，模块联合如何处理。 查看提供的分支，以检查不同的方案和配置选项。 安装依赖项 npm install 开始例子 运行npm start 导航到localhost:5000
hadoop-common-2.2.0-bin-master.zip
04-30
hadoop-common-2.2.0-bin-master(包含windows端开发Hadoop和Spark需要的winutils.exe),Windows下IDEA开发Hadoop和Spark程序会报错，原因是因为如果本机操作系统是windows，在程序中使用了hadoop相关的东西，比如写入...
hudi-hadoop-mr-bundle-0.11.0.jar
06-28
hudi-hadoop-mr-bundle-0.11.0.jar 配合文档
hadoop伪分布式环境搭建
qq_21201679的博客
03-09 247
伪分布式环境搭建 1.hadoop简介2.hadoop有三种搭建模式:单机模式(基本没用)、伪分布式模式、完全分布式模式 以伪分布式为主 3.搭建步骤：（由于搭建之前未曾想过要写博客，之后由于该过程较复杂为记录备忘，所以文中部分图片使用的是北风网教学视频中的截图，不太清晰，请见谅） 1）创建用户 2）修改主机名及ssh免密码登录 .ssh 密钥文件修改权限为600，否则会登录失败3）jdk安装...
moduleFederation 使用
jyb1314的博客
08-21 1274
webpack5 moduleFederation 使用 简介： 在hostApp中暴露要给其他应用使用的模块，其他应用（clientApp）引入hostApp暴露的文件。在clientApp中像使用本地模块一样使用远程模块。HostApp和ClientApp 可互为host/client。即同一个应用，可同时提供/使用远程模块。 上代码： 依赖 package.json： { // ... otherConfig devDependencies:{ // ... otherDevDepend
Hadoop ~之安装注意事项
cai_and_luo的博客
05-17 687
Hadoop ~之安装注意事项一：经常格式化导致报错如下hadoop起动后没有datanode的问题没有配置native环境配置时全部写主机名，不要写地址，不然会错Hadoop-在HDFS创建文件报mkdir: Cannot create directory /aa. Name node is in safe mode.hadoop环境报failed on connection exceptionLinux下永久修改主机名jps报process information unavailable的解决办法bas
hadoop搭建--datanode信息为0，Live datanodes 为0
weixin_36343850的博客
09-09 2414
背景 hadoop集群启动后，无有效的datanode节点，表现形式为： 使用hdfs dfsadmin -report查看节点的情况时，都是0 xf@master01:~/hadoop-2.6.5$ hdfs dfsadmin -report Configured Capacity: 0 (0 B) Present Capacity: 0 (0 B) DFS Remaining: 0 (0 B) DFS Used: 0 (0 B) DFS Used%: NaN% Under replicated bloc
java.net.ConnectException: Connection refused
wqqGo的博客
08-31 6313
18/08/31 15:43:41 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 18/08/31 15:43:42 WARN SparkConf: The configuration key '...
高级色系PPT11.pptx
最新发布
05-08
高级色系PPT11.pptx
hadoop fs -cp
05-29
`hadoop fs -cp`是一个HDFS shell命令，用于在HDFS中复制文件和目录，它的语法格式如下： ``` hadoop fs -cp [-f] [-p | -p[r]] [-d] <src>... ``` 其中，`<src>`是要复制的源文件或目录的路径，`<dst>`是目标...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值