大数据面试题(二)

最新推荐文章于 2024-11-25 23:16:05 发布
最新推荐文章于 2024-11-25 23:16:05 发布
阅读量1.3k 收藏 19
点赞数
分类专栏： 面试题 大数据 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40102671/article/details/82990017
版权
本文介绍了大数据领域中的Kafka与HDFS。对比传统消息传递方法，Kafka具有高速、可伸缩和持久性等优势。HDFS通过安全模式、SecondaryNamenode、心跳机制、数据一致性保障、租约和回滚策略确保数据可靠性。同时，文章还讲述了如何修改Hadoop的Block Size。
摘要由CSDN通过智能技术生成

一、什么是传统的消息传递方法？

传统的消息传递方法有两种：

  排队：在队列中，一组用户可以从服务器中读取消息，每条消息都发送给其中一个人。

  发布--订阅：在这个模型中，消息被广播给所有的用户。

 

二、请说明kafka相对传统技术有什么优势？

Kafka与传统的消息传递技术相比优势在于：

快速：单一的kafka代理可以处理成千上万的客户端，每秒处理数兆字节的读写操作。

可伸缩：在一组机器上对数据进行分区和简化，以支持更大的数据。

持久：消息是持久性的，并在集群中进行复制，以防止数据丢失。

设计：它提供了容错保证和持久性。

 

三、HDFS是通过什么机制保证数据可靠性的？

最低0.47元/天 解锁文章
HDFS的一致性模型
weixin_39950222的博客
09-07 520
在HDFS新建一个文件后，在hdfs文件系统中时立即可见的 当数据块正在写入时，写入的内容不能立即可见，当写入的内容超过一个数据块时，第一个数据块就可见了 正在写入的数据块时不可见的。除非调用sync() https://cloud.tencent.com/info/ca8219a2334e716c7ed0b5ba2b301b90.html HDFS某些地方为了性能可能会不符合POSIX(...
HDFS数据如何保持一致性
wangyhwyh753的博客
04-16 2882
HDFS是如何确保数据的一致性。 hdfs在namenode上备份元数据，并将数据存储在datanode上的，默认备份3份。那么hdfs是如何保证数据的一致性呢？ 1、hdfs的namenode机制 hdfs只有一个namenode,一旦namenode出现问题，数据块信息无法寻找。namenode中的元数据信息在工作时，会将元数据信息缓存在内存中。namenode将这些内存中的数据备份到...
「面试必背」大数据面试题100道（收藏）
最新发布
m0_74824091的博客
11-25 973
随着 5G 时代的到来，大数据人工智能产业链又一次迎来了井喷式的爆发，随着岗位需求的不断增加，越来越多的人选择大数据课程，但是没有真正从事大数据工作的人面对企业面试有种无从下手的感觉，面对面试说不到技术的重点，每次面试只能靠队友，靠兄弟支援，尤其是面对架构，编程更是无从下手。于是我决定对市场上大多的有关大数据核心的面试题做一个详细的分析，也希望大家尽可能的做到举一反三，而不是局限于题目本身。
hdfs一致性模型详解
weixin_33878457的博客
04-07 447
为什么80%的码农都做不了架构师？>>> ...
hdfs如何保证数据一致性？
delet丶
06-05 2511
1 namenode和SecondaryNamenode（周期性的保存namenode上的元数据信息）元数据一致性。 2 namenode和datanode心跳机制保证副本的重新创建，如果DataNode死了，原来保存在这个机器上的副本就的重新再别的机器 上创建了。 3 DataNode与DataNode副本创建数据是否一致性（网络传输校验和的问题） 4 租约机制，就是保证一个文件中只允许被一个用户写入数据，租约是由NameNode发放给客户端。 5 回滚机制，主要体现在hadoop升级的过程..
HDFS数据完整性如何保证?
lxpqxl的博客
11-08 2284
数据写入完毕以后进行校验,对比判断是否有数据丢失 数据读取之前进行校验,对比判断是否有数据丢失 NameNode会周期性的通过DataNode汇报的心跳信息中获取block块的校验和进行检查数据完整性，如果发现校验和不一致,会从其他副本节点复制数据进行恢复,从而保证数据的完整性 ...
牛客大数据面试题集锦+答案，共523道，46W+字。大厂必备
09-04
大数据面试题V3.0完成了。共523道题，679页，46w+字，来源于牛客870+篇面经。 主要分为以下几部分： Hadoop面试题：100道 Zookeeper面试题：21道 Hive面试题：47道 Flume面试题：11道 Kafka面试题：59到 HBase面试题...
2023大数据面试题，很全
06-08
【大数据面试题详解】 在大数据领域，面试题通常围绕着核心技术进行，如Hadoop、Spark、Flink等。本文将重点解析Hadoop的相关知识点，帮助你深入理解和掌握这些技术。 ### Hadoop #### 1. HDFS（Hadoop ...
最全最新大数据面试题.pdf
08-11
大数据面试题汇总 本资源涵盖了大数据面试的多个方面，包括 HDFS、YARN 资源调度、MapReduce 编程模型等。以下是本资源的详细知识点总结： 一、HDFS 架构 * HDFS 由 Namenode、Secondary Namenode、Datanode 组成...
HDFS中的数据一致性是如何保证的？请解释数据一致性的概念和实现方式。
jakelihua
09-06 1352
写入和读取的一致性：在HDFS中，写入和读取操作的一致性是通过协议来保证的。通过这种方式，HDFS能够保证写入和读取操作的一致性，即写入的数据能够被正确地复制和更新，并且读取的数据能够被正确地获取和传输。数据节点还会定期向主节点发送块报告，报告当前存储的数据块信息，以便主节点进行数据块的管理和一致性的维护。在HDFS中，数据的一致性是指在多个副本之间保持数据的一致性，即多个副本中的数据内容是相同的。数据一致性的概念是指当多个副本之间存在数据复制和更新操作时，保持数据的一致性，即多个副本中的数据是相同的。
Hadoop之HDFS之一致性模型
weixin_34090643的博客
08-26 592
HDFS某些地方为了性能可能会不符合POSIX（是的，你没有看错，POSIX不仅仅只适用于linux/unix，Hadoop 使用了POSIX的设计来实现对文件系统文件流的读取），所以它看起来可能与你所期望的不同，要注意。 创建了一个文件以后，它是可以在命名空间（namespace）中可以看到的：Pathp=newPath("p"); fs.creat...
HDFS数据一致性
GSpinach的博客
09-11 8772
@Author : Spinach | GHB @Link : http://blog.csdn.net/bocai8058 1.概述 2.NameNode如何保证元数据的一致性 3.校验和 4.为实现高可用，HDFS采用的诸多策略 4.1 冗余副本 4.2 机架感知 4.3 心跳机制 4.4 安全模式 4.5 校验和 4.6 回收站 4.7 元数据保护 4.8 快照机制 ...
HDFS的一致性分析
Cloud-Datacenter-Renewable Energy-Big Data-Model
03-05 1538
1. 为什么HDFS不支持多个writer同时写一个文件,即不支持并发写? 　　首先谈一谈HDFS产生的历史。HDFS是根据Google的GFS论文所实现的, 初期时它的主要设计目标是为了存储MapReduce所操作的大型数据集。我们知道在Hadoop中, 每道Mapreduce作业的写操作一般发生在reduce阶段(如果是只含map的作业,则在map阶段)。一般情况下, 各个reducer
hdfs数据一致性研究
breakout_alex的博客
10-12 1438
前言 在hadoop老版本中只提供了sync() 和 hflush()方法，只能保证数据都传输到了datanode端，不能确保都进行了落盘操作，所以在写入数据过程中发生大面积down机的情况下会产生数据丢失问题。本篇文章主要对hdfs数据一致性模型进行一些研究。 HDFS 中 sync()，hflush() 和 hsync() hadoop在2.0.2-alpha版本上添加...
hbase,hdfs 数据一致性
gyflyx的专栏
01-18 4204
hbase 采用的是强一致性 N： 1   (数据备份的数目) W： 1 （数据写入几个节点返回成功） R： 1  （读取数据时需要读取的备份节点个数） W + R > N 但是hdfs采用的最终一致性 N： 3   (数据备份的数目) W： 1 （数据写入几个节点返回成功），默认是1，但是可以配置: dfs.replication.min R： 1  （读取数据的时候
存储过程没有保证数据的一致性
darlene2929的博客
06-21 266
今天写存储过程的时候，发现没有保证数据的一致性 原来代码： CREATE OR REPLACE procedure PDI as begin insert into PDI(SEQ_NUM, MSG_TS, MSG_FLAG, MAT_NO, MSG_TS_INSERT ) select PDI_SEQ_ID.NEXTVAL, MSG_TS, MSG_FLAG, MAT_NO, sysdate from xxx where MSG_FLAG = 'N'; Update xxx set
Hadoop HDFS 数据一致性
Nathan Yan
12-03 4109
HDFS 会对写入的所有数据计算校验和(checksum)，并在读取数据时验证校验和。针对指定字节的数目计算校验和。字节数默认是512 字节，可以通过io.bytes.per.checksum属性设置。通过CRC-32编码后为4字节。 Datanode 在保存数据前负责验证checksum。client 会把数据和校验和一起发送到一个由多个datanode 组成的队列中，最后一个Da
大数据面试题及求职经验分享
资源摘要信息: 《大数据面试题及面试经验分享》是一个专注于大数据领域求职面试的资源包，它针对希望在大数据领域发展，特别是应聘相关技术岗位的求职者提供了一系列的面试题目和经验分享。以下内容将详细介绍这一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值