HadoopHA问答题

最新推荐文章于 2024-06-14 14:18:14 发布
最新推荐文章于 2024-06-14 14:18:14 发布
阅读量591 收藏 1
点赞数
分类专栏： 学习记录 文章标签： hadoop 大数据 hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/TTDZS/article/details/128246502
版权

文章目录

HadoopHA问答题

一、Hadoop中的压缩作为一种常用的优化手段，经常被用在什么场景下？

​ 执行MR任务时Mapper结束的时候对落盘的结果文件压缩，从而减轻Reduce任务的压力，进而提升整个MR的执行效率

​ MR执行前直接读压缩好的文件，也会提升效率，但是要注意压缩格式能不能切片的问题

​ 在Reduce阶段结束的时候压缩，提升磁盘使用率

二、如果想要使用压缩，Hadoop如何对某一种压缩编码格式进行取舍？

​ 根据业务需要综合考虑压缩率、压缩速度、是否支持切片、是否Hadoop自带

三、你们公司常用的压缩方式有哪些？

不经常使用、长久存储的情况，使用Bzip2压缩

MR中Mapper阶段落盘文件压缩的情况，使用Snappy(考虑压缩、解压缩速度)

四、从哪些方面定位MR执行的效率

硬件：

​ 服务器配置

软件：

​ 小文件场景、数据倾斜、不可切片压缩文件、shuffle阶段环形缓冲区配置不合理、文件合并次数过多

五、如果想对MR程序进行优化，应该从哪些方面入手以及可能用到的优化手段？

主要考虑优化IO和内存，可能用到以下手段：

  1. 读数据的阶段，如果面临大量小文件的场景，可以用CombineTextInputFormat来解决

  2. Mapper阶段，减

最低0.47元/天 解锁文章
张培根同学
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop-压缩-优化-HA
翊小宸的博客
10-14 458
1. Hadoop中的压缩作为一种常用的优化手段，经常被用在什么场景下？ 数据规模很大和工作负载密集的情况下, 比如说在处理Mapper, Reducer运行过程的数据时进行压缩, 以减少磁盘IO, 提高MR的运行速度 2. 如果想要使用压缩，Hadoop如何对某一种压缩编码格式进行取舍？ 从多方面来看, 首先判断是否属于Hadoop自带, 其次需要看其是否支持切分, 换成压缩格式后, 原来的程序是否需要修改, 然后就是看性能了, 压缩速度和解压速度. 3. 你们公司常用的压缩方式有哪些？ Gzip Bzi
HDFS-HA工作机制
GabrielCP的博客
02-20 733
原理：通过双NameNode消除单点故障。 1.HDFS-HA工作要点 1.1.元数据管理方式需要改变 内存中各自保存一份元数据； Edits日志只有Active状态的NameNode节点可以做写操作；(备份的那个不提供写操作–编辑日志不同步) 两个NameNode都可以读取Edits； 共享的Edits放在一个共享存储中管理（qjournal和NFS两个主流实现–解决了编辑日志不同步问题）； 1...
Hadoop HA 高可用（重点详解）
weixin_48067943的博客
07-29 922
文章目录四、Hadoop HA 高可用4.1 HA 概述4.2 HDFS-HA 工作机制4.2.1 HDFS-HA 工作要点4.2.2 HDFS-HA 自动故障转移工作机制4.3 HDFS-HA 集群配置4.3.1 环境准备4.3.2 规划集群4.3.3 配置 Zookeeper 集群4.3.4 配置 HDFS-HA 集群4.3.5 启动HDFS-HA集群4.3.6 配置 HDFS-HA 自动故障转移4.4 YARN-HA配置4.4.1 YARN-HA工作机制4.4.2 配置 YARN-HA 集群4.5 H
Hadoop相关总结，与问题整理。
qq_27896233的博客
06-27 654
hadoop基础工作流程步骤问题相关总结，
Hadoop面试题十道
qq_38151907的博客
06-14 4705
Hadoop面试题十道
Hadoop各种压缩的应用场景与使用
converoscar的博客
10-09 338
Hadoop架构基础知识面试题
weixin_56614846的博客
07-29 302
1.yarn的调度器有三种（了解）： 容量调度器：Capacity Scheduler：配置多个队列，同时运行先提交的大任务和后提交的小任务 公平调度器：Fair Scheduler：两个任务公平的共享集群资源,不浪费资源； 先进先出调度器：FIFO Scheduler：按照任务的提交顺序，先提交的任务优先满足其资源需求 2.Flume简介：（了解） Flume是Cloudera公司的产品，后期捐给Apache进行重构成为顶级项目 Flume 0.9X版本的统称Flume OG ，Flume1.X版本的统
HadoopHA集群部署、规划HadoopHA集群教学课件.pptx
06-20
规划Hadoop HA 集群 Hadoop HA 集群部署模式 什么是 HA ? HA是High Availability的简写,即高可用，指当前工作中的机器宕机后，会自动处理这个异常，并将工作无缝地转移到其他备用机器上去，以来保证服务的高可用。...
HadoopHA集群配置文件
11-28
Hadoop HA 集群搭建所需要的配置文件：core-site，hdfs-site，mapred-site，yarn-site四个xml文件和一个slaves文件
hadoopHA搭建资源包
04-01
hadoopHA搭建资源包
hadoopHA配置.txt
08-18
hadoop的ha配置过程，亲自搭建测试过，hdfs和yarn的HA都完美运行，mapreduce提交到集群中也运行成功。
Hadoop HA集群配置.docx
08-23
hadoop-HA集群运作机制介绍 所谓HA,即高可用(7*24小时不中断服务),实现高可用最关键的是消除单点故障。hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA.
部署hadoop集群ha模式常见的问题，以及解决方案
things_use的博客
05-10 1795
1.      集群中的某个datanode无法启动。原因：可能是该节点的clusterId和master上的不一样了，修改clusterId和master一样的就行了。如下：在core-site.xml中找到配置的hadoop.tmp.dir，往下找/dfs/name/current下有个VERSION文件，打开如下：对比master上的clusterID，修改为mater上的ID就行了。2. ...
压缩在Hadoop中的应用
Realoyou的博客
03-12 422
概述 压缩：压缩是一种通过特定的算法来减小计算机文件大小的机制，简单来说就是使用相关压缩技术将文件内容减少的过程 优点： 1.节省存储空间 2.减少网络带宽IO 3.减少磁盘IO 缺点： 1.压缩解压会有CPU开销 2.消耗时间 分类： 1.Lossless 无损压缩，应用在一些日志文件等 2.Lossy 有损压缩，应用在图片，视频文件等 常用的压缩技术及比较： ...
MapReduce问答题
TTDZS的博客
12-09 624
mapreduce问答
Hadoop相关简答题合集
NewBeeMu的博客
10-27 2107
第一题：简述常见的Linux目录及其作用 答案： 1、/etc：所有的系统管理所需要的配置文件和子目录。 2、/home：存放普通用户的主目录，在Linux中每个用户都有一个自己的目录，一般该目录名是以用户的账号命名的。 3、/mnt：系统提供该目录是为了让用户临时挂载别的文件系统的，我们可以将光驱挂载在/mnt/上，然后进入该目录就可以查看光驱里的内容了。 /net ?存放着和网络相关的一些文件...
Hadoop提交MR任务
最新发布
别人笑我太疯癫，我笑他人看不穿。
06-14 326
mapreduce.map.java.opts=-Xmx1638m 这个是设置Map任务暂用JVM堆内存大小为1638MB（留一些内存给JVM进程本身）。mapreduce.reduce.java.opts=-Xmx3276m 设置Reduce任务的JVM堆内存大小为3276MB。mapreduce.reduce.memory.mb=4096 设置每个Reduce任务的内存为4096MB。mapreduce.map.memory.mb=2048 设置每个Map任务的内存为2048MB。
hadoop HA系统
10-28
Hadoop HA系统是指在Hadoop分布式集群中，通过多个节点的协同工作，实现高可用性和容错性的系统。Hadoop HA系统主要包括Namenode HA和Yarn HA两个方面。其中，Namenode HA主要是为了保证HDFS文件系统的高可用性，而Yarn HA则是为了保证MapReduce计算框架的高可用性。在Namenode HA中，通过启动多个namenode节点，并配置隔离机制和zookeeper来对namenode进行监听，实现了在namenode崩溃时自动切换到standby namenode的功能。而在Yarn HA中，则是通过启动多个ResourceManager节点，并配置隔离机制和zookeeper来对ResourceManager进行监听，实现了在ResourceManager崩溃时自动切换到standby ResourceManager的功能。这样，Hadoop HA系统可以保证在节点崩溃时，系统仍然能够正常运行，从而提高了系统的可靠性和稳定性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值