HDFS总结（二）

最新推荐文章于 2024-02-04 17:04:20 发布
最新推荐文章于 2024-02-04 17:04:20 发布
阅读量60 收藏
点赞数 1
文章标签： 大数据 分布式 hadoop 数据库 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aihaili/article/details/117470042
版权

第5章 NameNode和SecondaryNameNode（面试开发重点）

5.1 NN和2NN工作机制

思考：NameNode中的元数据是存储在哪里的？
首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。**因此产生在磁盘中备份元数据的FsImage。**
这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦NameNode节点断电，就会产生数据丢失。**因此，引入Edits文件(只进行追加操作，效率很高)。每当元数据有更新或者添加元数据时，修改内存中的元数据并追加到Edits中。**这样，一旦NameNode节点断电，可以通过FsImage和Edits的合并，合成元数据。
但是，如果长时间添加数据到Edits中，会导致该文件数据过大，效率降低，而且一旦断电，恢复元数据需要的时间过长。因此，需要定期进行FsImage和Edits的合并，如果这个操作由NameNode节点完成，又会效率过低。**因此，引入一个新的节点SecondaryNamenode，专门用于FsImage和Edits的合并。**

在这里插入图片描述

第一阶段：NameNode启动

  1. 第一次启动NameNode格式化后，创建Fsimage和Edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。
  2. 客户端对元数据进行增删改的请求。
  3. NameNode记录操作日志，更新滚动日志。
  4. NameNode在内存中对元数据进行增删改。

第二阶段：Secondary NameNode工作

  1. Secondary NameNode询问NameNode是否需要CheckPoint。直接带回NameNode是否检查结果。
  2. Secondary NameNode请求执行CheckPoint。
  3. NameNode滚动正在写的Edits日志。
  4. 将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。
  5. Secondary NameNode加载编辑日志和镜像文件到内存，并合并。
  6. 生成新的镜像文件fsimage.chkpoint。
  7. 拷贝fsimage.chkpoint到NameNode。
  8. NameNode将fsimage.chkpoint重新命名成fsimage。

NN和2NN工作机制详解：

Fsimage：NameNode内存中元数据序列化后形成的文件。

Edits：记录客户端更新元数据信息的每一步操作（可通过Edits运算出元数据）。
NameNode启动时，先滚动Edits并生成一个空的edits.inprogress，然后加载Edits和Fsimage到内存中，此时NameNode内存就持有最新的元数据信息。Client开始对NameNode发送元数据的增删改的请求，这些请求的操作首先会被记录到edits.inprogress中（查询元数据的操作不会被记录在Edits中，因为查询操作不会更改元数据信息），如果此时NameNode挂掉，重启后会从Edits中读取元数据的信息。然后，NameNode会在内存中执行元数据的增删改的操作。
由于Edits中记录的操作会越来越多，Edits文件会越来越大，导致NameNode在启动加载Edits时会很慢，所以需要对Edits和Fsimage进行合并（所谓合并，就是将Edits和Fsimage加载到内存中，照着Edits中的操作一步步执行，最终形成新的Fsimage）。SecondaryNameNode的作用就是帮助NameNode进行Edits和Fsimage的合并工作。
SecondaryNameNode首先会询问NameNode是否需要CheckPoint（触发CheckPoint需要满足两个条件中的任意一个，定时时间到和Edits中数据写满了）。直接带回NameNode是否检查结果。SecondaryNameNode执行CheckPoint操作，首先会让NameNode滚动Edits并生成一个空的edits.inprogress，滚动Edits的目的是给Edits打个标记，以后所有新的操作都写入edits.inprogress，其他未合并的Edits和Fsimage会拷贝到SecondaryNameNode的本地，然后将拷贝的Edits和Fsimage加载到内存中进行合并，生成fsimage.chkpoint，然后将fsimage.chkpoint拷贝给NameNode，重命名为Fsimage后替换掉原来的Fsimage。NameNode在启动时就只需要加载之前未合并的Edits和Fsimage即可，因为合并过的Edits中的元数据信息已经被记录在Fsimage中。

5.2 Fsimage和Edits解析

在这里插入图片描述

5.3 CheckPoint时间设置

通常情况下，SecondaryNameNode每隔一小时执行一次

hdfs-default.xml

<property>
  <name>dfs.namenode.checkpoint.period</name>
  <value>3600s</value>
</property>

一分钟检查一次操作次数，当操作次数达到1百万时，SecondaryNameNode执行一次。

hdfs-default.xml

<property>
  <name>dfs.namenode.checkpoint.txns</name>
  <value>1000000</value>
<description>操作动作次数</description>
</property>

<property>
  <name>dfs.namenode.checkpoint.check.period</name>
  <value>60s</value>
<description> 1分钟检查一次操作次数</description>
</property >

5.4 NameNode故障处理

NameNode故障后，可以采用如下两种方法恢复数据。

将SecondaryNameNode中的数据拷贝到NameNode存储数据的目录；

  1. kill -9 NameNode进程
  2. 删除NameNode存储的数据（/opt/module/hadoop-3.1.3/data/tmp/dfs/name）
    [atguigu@hadoop102 hadoop-3.1.3]$ rm -rf /opt/module/hadoop-3.1.3/data/dfs/name/*
  3. 拷贝SecondaryNameNode中数据到原NameNode存储数据目录
    [atguigu@hadoop102 dfs]$ scp -r atguigu@hadoop104:/opt/module/hadoop-3.1.3/data/dfs/namesecondary/* ./name/
  4. 重新启动NameNode
    [atguigu@hadoop102 hadoop-3.1.3]$ hdfs --daemon start namenode

使用-importCheckpoint选项启动NameNode守护进程，从而将SecondaryNameNode中数据拷贝到NameNode目录中。

  1. 修改hdfs-site.xml中的
<property>
    <name>dfs.namenode.checkpoint.period</name>
    <value>120</value>
</property>

<property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/module/hadoop-3.1.3/data/dfs/name</value>
</property>
  1. kill -9 NameNode进程
  2. 删除NameNode存储的数据（/opt/module/hadoop-3.1.3/data/dfs/name）
  3. 如果SecondaryNameNode不和NameNode在一个主机节点上，需要将SecondaryNameNode存储数据的目录拷贝到NameNode存储数据的平级目录，并删除in_use.lock文件
[atguigu@hadoop102 dfs]$ scp -r atguigu@hadoop104:/opt/module/hadoop-3.1.3/data/dfs/namesecondary ./

[atguigu@hadoop102 namesecondary]$ rm -rf in_use.lock

[atguigu@hadoop102 dfs]$ pwd
/opt/module/hadoop-3.1.3/data/dfs

[atguigu@hadoop102 dfs]$ ls
data  name  namesecondary
  1. 导入检查点数据（等待一会ctrl+c结束掉）
[atguigu@hadoop102 hadoop-3.1.3]$ bin/hdfs namenode -importCheckpoint
  1. 启动NameNode
[atguigu@hadoop102 hadoop-3.1.3]$ hdfs --daemon start namenode

5.5 集群安全模式

在这里插入图片描述

  1. 基础语法
    集群处于安全模式，不能执行重要操作（写操作）。集群启动完成后，自动退出安全模式。
（1）bin/hdfs dfsadmin -safemode get		（功能描述：查看安全模式状态）
（2）bin/hdfs dfsadmin -safemode enter  	（功能描述：进入安全模式状态）
（3）bin/hdfs dfsadmin -safemode leave	（功能描述：离开安全模式状态）
（4）bin/hdfs dfsadmin -safemode wait	（功能描述：等待安全模式状态）
  1. 查看当前模式
[atguigu@hadoop102 hadoop-3.1.3]$ hdfs dfsadmin -safemode get
Safe mode is OFF
  1. 进入安全模式
[atguigu@hadoop102 hadoop-3.1.3]$ bin/hdfs dfsadmin -safemode enter

5.6 NameNode多目录配置

  1. NameNode的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性
  2. 具体配置如下
  • 在hdfs-site.xml文件中添加如下内容
<property>
<name>dfs.namenode.name.dir</name>
<value>file://${hadoop.tmp.dir}/dfs/name1,file://${hadoop.tmp.dir}/dfs/name2</value>
</property>
  • 停止集群，删除三台节点的data和logs中所有数据
[atguigu@hadoop102 hadoop-3.1.3]$ rm -rf data/ logs/
[atguigu@hadoop103 hadoop-3.1.3]$ rm -rf data/ logs/
[atguigu@hadoop104 hadoop-3.1.3]$ rm -rf data/ logs/
  • 格式化集群并启动
[atguigu@hadoop102 hadoop-3.1.3]$ bin/hdfs namenode –format
[atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh
  • 查看结果
[atguigu@hadoop102 dfs]$ ll
总用量 12
drwx------. 3 atguigu atguigu 4096 12月 11 08:03 data
drwxrwxr-x. 3 atguigu atguigu 4096 12月 11 08:03 name1
drwxrwxr-x. 3 atguigu atguigu 4096 12月 11 08:03 name2

第6章 DataNode（面试开发重点）

6.1 DataNode工作机制

在这里插入图片描述

  1. 一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。
  2. DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。
  3. 心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。
  4. 集群运行中可以安全加入和退出一些机器

6.2 数据完整性

思考：如果电脑磁盘里面存储的数据是控制高铁信号灯的红灯信号（1）和绿灯信号（0），但是存储该数据的磁盘坏了，一直显示是绿灯，是否很危险？同理DataNode节点上的数据损坏了，却没有发现，是否也很危险，那么如何解决呢？
如下是DataNode节点保证数据完整性的方法。

  1. 当DataNode读取Block的时候，它会计算CheckSum。
  2. 如果计算后的CheckSum，与Block创建时值不一样，说明Block已经损坏。
  3. Client读取其他DataNode上的Block。
  4. 常见的校验算法 crc（32），md5（128），sha1（160）
  5. DataNode在其文件创建后周期验证CheckSum。
    在这里插入图片描述

6.3 服役新数据节点

  1. 需求
    随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。
  2. 环境准备
（1）在hadoop104主机上再克隆一台hadoop105主机
（2）修改IP地址和主机名称
（3）删除原来HDFS文件系统留存的文件（/opt/module/hadoop-3.1.3/data和logs）
（4）source一下配置文件
[atguigu@hadoop105 hadoop-3.1.3]$ source /etc/profile
  1. 服役新节点具体步骤
  • 直接启动DataNode，即可关联到集群
[atguigu@hadoop105 hadoop-3.1.3]$ hdfs --daemon start datanode
[atguigu@hadoop105 hadoop-3.1.3]$ yarn --daemon start nodemanager
  • 在hadoop105上上传文件
[atguigu@hadoop105 hadoop-3.1.3]$ hadoop fs -put /opt/module/hadoop-3.1.3/LICENSE.txt /
  • 如果数据不均衡，可以用命令实现集群的再平衡
[atguigu@hadoop102 sbin]$ ./start-balancer.sh
starting balancer, logging to /opt/module/hadoop-3.1.3/logs/hadoop-atguigu-balancer-hadoop102.out
Time Stamp               Iteration#  Bytes Already Moved  Bytes Left To Move  Bytes Being Moved

6.5 退役旧数据节点

6.5.1 添加白名单和黑名单

白名单和黑名单是hadoop管理集群主机的一种机制。
添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，都会被退出。添加到黑名单的主机节点，不允许访问NameNode，会在数据迁移后退出。
实际情况下，白名单用于确定允许访问NameNode的DataNode节点，内容配置一般与workers文件内容一致。 黑名单用于在集群运行过程中退役DataNode节点。

配置白名单和黑名单的具体步骤如下：

  1. 在NameNode节点的/opt/module/hadoop-3.1.3/etc/hadoop目录下分别创建whitelist 和blacklist文件
[atguigu@hadoop102 hadoop]$ pwd
/opt/module/hadoop-3.1.3/etc/hadoop
[atguigu@hadoop102 hadoop]$ touch whitelist
[atguigu@hadoop102 hadoop]$ touch blacklist

在whitelist中添加如下主机名称,假如集群正常工作的节点为102 103 104 105

hadoop102
hadoop103
hadoop104
hadoop105

黑名单暂时为空

  1. 在hdfs-site.xml配置文件中增加dfs.hosts和 dfs.hosts.exclude配置参数
<!-- 白名单 -->
<property>
<name>dfs.hosts</name>
<value>/opt/module/hadoop-3.1.3/etc/hadoop/whitelist</value>
</property>
<!-- 黑名单 -->
<property>
<name>dfs.hosts.exclude</name>
<value>/opt/module/hadoop-3.1.3/etc/hadoop/blacklist</value>
</property>
  1. 分发配置文件whitelist，blacklist，hdfs-site.xml (注意：105节点也要发一份)
[atguigu@hadoop102 etc]$ xsync hadoop/ 
[atguigu@hadoop102 etc]$ rsync -av hadoop/ atguigu@hadoop105:/opt/module/hadoop-3.1.3/etc/hadoop/
  1. 重新启动集群(注意：105节点没有添加到workers，因此要单独起停)
[atguigu@hadoop102 hadoop-3.1.3]$ stop-dfs.sh
[atguigu@hadoop102 hadoop-3.1.3]$ start-dfs.sh
[atguigu@hadoop105 hadoop-3.1.3]$ hdfs –daemon start datanode
  1. 在web浏览器上查看目前正常工作的DN节点

6.5.2 黑名单退役

  1. 编辑/opt/module/hadoop-3.1.3/etc/hadoop目录下的blacklist文件
[atguigu@hadoop102 hadoop] vim blacklist
添加如下主机名称（要退役的节点）
hadoop105
  1. 分发blacklist到所有节点
[atguigu@hadoop102 etc]$ xsync hadoop/ 
[atguigu@hadoop102 etc]$ rsync -av hadoop/ atguigu@hadoop105:/opt/module/hadoop-3.1.3/etc/hadoop/
  1. 刷新NameNode、刷新ResourceManager
[atguigu@hadoop102 hadoop-3.1.3]$ hdfs dfsadmin -refreshNodes
Refresh nodes successful

[atguigu@hadoop102 hadoop-3.1.3]$ yarn rmadmin -refreshNodes
17/06/24 14:55:56 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.1.103:8033

  1. 检查Web浏览器，退役节点的状态为decommission in progress（退役中），说明数据节点正在复制块到其他节点
    在这里插入图片描述

  2. 等待退役节点状态为decommissioned（所有块已经复制完成），停止该节点及节点资源管理器。注意：如果副本数是3，服役的节点小于等于3，是不能退役成功的，需要修改副本数后才能退役
    在这里插入图片描述

[atguigu@hadoop105 hadoop-3.1.3]$ hdfs --daemon stop datanode
stopping datanode
[atguigu@hadoop105 hadoop-3.1.3]$ yarn --daemon stop nodemanager
stopping nodemanager
  1. 如果数据不均衡，可以用命令实现集群的再平衡
[atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-balancer.sh 
starting balancer, logging to /opt/module/hadoop-3.1.3/logs/hadoop-atguigu-balancer-hadoop102.out
Time Stamp               Iteration#  Bytes Already Moved  Bytes Left To Move  Bytes Being Moved
注意：不允许白名单和黑名单中同时出现同一个主机名称，既然使用了黑名单blacklist成功退役了hadoop105节点，因此要将白名单whitelist里面的hadoop105去掉。

6.6 DataNode多目录配置

  1. DataNode可以配置成多个目录，每个目录存储的数据不一样。即：数据不是副本
  2. 具体配置如下
（1）在hdfs-site.xml文件中添加如下内容
<property>
        <name>dfs.datanode.data.dir</name>
<value>file://${hadoop.tmp.dir}/dfs/data1,file://${hadoop.tmp.dir}/dfs/data2</value>
</property>
（2）停止集群，删除三台节点的data和logs中所有数据。
[atguigu@hadoop102 hadoop-3.1.3]$ rm -rf data/ logs/
[atguigu@hadoop103 hadoop-3.1.3]$ rm -rf data/ logs/
[atguigu@hadoop104 hadoop-3.1.3]$ rm -rf data/ logs/
（3）格式化集群并启动。
[atguigu@hadoop102 hadoop-3.1.3]$ bin/hdfs namenode –format
[atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh
（4）查看结果
[atguigu@hadoop102 dfs]$ ll
总用量 12
drwx------. 3 atguigu atguigu 4096 4月   4 14:22 data1
drwx------. 3 atguigu atguigu 4096 4月   4 14:22 data2
drwxrwxr-x. 3 atguigu atguigu 4096 12月 11 08:03 name1
drwxrwxr-x. 3 atguigu atguigu 4096 12月 11 08:03 name2
仅仅想过
关注
Hdfs总结
沧海一粟的博客
03-14 362
Hdfs总结 1.读写流程 读出数据 跟namenode通信查询元数据，找到文件块所在的datanode服务器 挑选一台datanode（就近原则，然后随机）服务器，请求建立socket流 datanode开始发送数据（从磁盘里面读取数据放入流，以packet为单位来做校验） 客户端以packet为单位接收，先在本地缓存，然后写入目标文件 写入数据 2.hdfs的工作机制 HDFS集群分为...
hdfs总结
qq_34930765的博客
10-17 71
HDFS介绍 HDFS就是分布式文件管理系统，适合一次写入，多次读出，不支持修改 优缺点：（优）有副本高容错，处理大数据；（缺）不适合处理小文件，不合适低延迟处理数据 HDFS组成 NameNode（nn） 管理元数据，处理客户端请求 DataNode（dn） 储存实际数据块，执行客户端操作 SecondaryNameNode 辅助nn，定期完成checkpoint操作，不可作为热备 HDFS文件块（block）默认情况下为128M，传输时间1%为寻址时间，nn寻址时
NameNode和SecondaryNameNode
IT成长记
01-19 413
一、NameNode和SecondaryNameNode工作机制 思考：NameNode中的元数据是存储在哪里的？ 首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。 这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦N
HDFS学习笔记（二）——NameNode和SecondNameNode
qq_36139822的博客
12-23 459
介绍了HDFS中NameNode哈SecondaryNameNode的工作流程，和所涉及的文件edits与fsimage的存在形式。
Hadoop伪分布式部署之SecondaryNameNode
潇山远
04-14 2199
前言 在之前的章节中，我们有介绍到伪分布式的hdfs、yarn和mapreduce、历史服务与日志聚集的部署。接下来我们一起探讨下hadoop的SecondaryNameNode，内容可能较为粗糙，待博主以后水平提升后再来深入细化。 我们的hadoop环境如下 操作系统：CentOS6.4 Java版本：Oracle jdk1.7 Hadoop版本：Hadoop2.5.0 主机h...
hadoop的secondarynamenode详解
最新发布
weixin_42497376的博客
02-04 768
dfs.secondary.http.address: 这个属性与dfs.namenode.secondary.http-address具有相同的作用，但是是在较早的Hadoop版本中使用的。dfs.namenode.checkpoint.period: 这个属性指定了SecondaryNameNode执行checkpoint的时间间隔，单位为秒。Hadoop的SecondaryNameNode是一个辅助性的节点，它的主要任务是帮助NameNode进行元数据的备份和检查点操作，以提高系统的可靠性和性能。
Hadoop3.x入门-搭建3节点分布式集群
小末的博客
02-09 2721
1.前言 本文档适用于Hadoop3.x版本分布式测试集群搭建。 HDFS组件包括：NameNode、DataNode、SecondaryNameNode Yarn组件包括：ResourceManager、NodeManager、JobHistory MapReduce组件包括：JobHistoryServer 2. 集群搭建前提条件 关闭防火墙 确保集群主机节点时间同步（可以安装ntp服务保持集群时间同步） 集群间配好免密，包括免密本地登录（不配置有可能导致namenode和nodeman
实验二：熟悉常用的HDFS操作
05-05
实验二：“熟悉常用的HDFS操作”旨在帮助学习者深入理解Hadoop分布式文件系统（HDFS）在大数据处理中的核心地位，以及如何通过Shell命令和Java API进行高效操作。HDFS在Hadoop架构中扮演着存储大数据的核心角色，为...
hdfs的实验总结_HDFS原理及操作
weixin_39608988的博客
12-30 7643
HDFS实验报告目录：一、三个实验总结步骤二、三个实验具体步骤三、实验心得一、三个实验总结步骤(1)测试例子1.编译代码读取HDFS文件内容在/app/hadoop-1.1.2目录下建立myclass和input目录，在hdfs中建立目录/class4；input目录下建立并编写quangle.txt文件，将本地quangle.txt文件复制到class4目录下；myclass目录下建立、编写并编...
Hadoop-HDFS的Secondary NameNode作用详解
ten_k的博客
07-14 2255
NameNode将对文件系统的改动追加保存到本地文件系统上的一个日志文件（edits）。当一个NameNode启动时，它首先从一个映像文件（fsimage）中读取HDFS的状态，接着应用日志文件中的edits操作。然后它将新的HDFS状态写入（fsimage）中，并使用一个空的edits文件开始正常操作。因为NameNode只有在启动阶段才合并fsimage和edits，所以久而久之日志文件可能会变得非常庞大，特别是对大型的集群。日志文件太大的另一个副作用是下一次NameNode启动会花很长时间。 Seco
masters用来启动secondarynamenode
iteye_10853的博客
03-30 298
http://blog.csdn.net/dajuezhao/article/details/5987580 写道 2、secondarynamenode一般来说不应该和namenode在一起，所以，我把它配置到了datanode上。配置到datanode上，一般来说需要改以下配置文件。conf/master、conf/hdfs-site.xml和conf/core-site.xml这3个配置...
Hadoop的安装部署(学习使用)
zhang5324496的博客
11-24 1815
大数据学习 hadoop yarn HDFS
HADOOP综合应用架构之一 配置Secondarynamenode在另一台机器运行
weixin_34292287的博客
10-07 296
secondarynamenode的作用就是用来做checkpoint---相当于对NameNode节点的元数据备份 现在将secondarynamenode部署在另一台机器，是为了引入Zookeeper做自动切换 具体方法如下 1.修改conf/core-site.xml 增加或修改 <property> <name>fs.checkpoint.period&l...
hadoop的namenode和secondnamenode分开部署在不同服务器
szjianzr的专栏
11-03 598
一、系统环境： Hadoop 0.20.2、JDK 1.6、Linux操作系统 二、使用背景 网上关于hadoop的集群配置，很多情况下，都是把namenode和secondnamenode部署在同一服务器上。为了降低风险，一个大的集群环境，最好是把这两个配置到不同的服务器上。 三、操作 要达到这要求，需要对conf/master、conf/hdfs-site.xml和conf/...
Hadoop双namenode配置搭建（HA）
热门推荐
Trigl的博客
02-14 1万+
配置双namenode的目的就是为了防错，防止一个namenode挂掉数据丢失，具体原理本文不详细讲解，这里只说明具体的安装过程。 Hadoop HA的搭建是基于Zookeeper的，关于Zookeeper的搭建可以查看这里 hadoop、zookeeper、hbase、spark集群环境搭建 ，本文可以看做是这篇文章的补充。这里讲一下Hadoop配置安装。 配置Hadoop文件 需要修
namenode与secondarynamenode是否放到同一个节点？
长安一片月的博客
06-07 7320
1.namenode与secondarynamenode是否放到同一个节点？答：不能。   原因：内存！！！！！单节点内存大小有物理限制。2.现实应用中Namenode和SecondaryNamenode能不能放在一台机器上？  答案：因为Namenode的内存是它的瓶颈，SecondaryNamenode负责复制edits_*-*和fsimage_txid,然后整合成新的fsimage_文件，并...
Hadoop之SecondaryNamenode没有启动问题解决小记
小啊呜的博客
09-25 1万+
Hadoop之SecondaryNamenode没有启动问题解决小记 一、问题描述 二、问题解决 叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！
对于hadoop守护进程缺少SecondaryNameNode或Datanode的一个解决办法
Arthur_77的博客
11-28 9107
在搭建分布式集群时出现了一个问题： 五大守护进程之二的SecondaryNameNode和Datanode没有出现 对于SecondaryNameNode，可以尝试在hadoop安装文件夹的tmp子文件夹中删除dfs文件夹 随后进行格式化： 随后重新start-all.sh并jps一下，会发现SecondaryNameNode出现了。 其次是datanode的问题。datanode如果挂掉50070端口会少一个存活节点。这个问题解决方法如下： 进入hadoop安装文件夹下...
深入解析Hadoop HDFS源代码
二、Hadoop文件系统（HDFS） HDFS设计的主要目标是提供高度容错性和高吞吐量的数据访问。它通过数据复制来保证数据的可靠性，通常每个数据块都有3个副本。 2.2、HDFS体系结构 HDFS由NameNode和DataNode构成。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值