大数据常见面试题整理

最新推荐文章于 2024-05-14 11:28:19 发布
最新推荐文章于 2024-05-14 11:28:19 发布
阅读量1k 收藏 10
点赞数
分类专栏： 大数据平台技术--hadoop 文章标签： 大数据 面试题
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013168084/article/details/84640272
版权

    今年参加了校园秋招，主要针对招聘大数据研发相关岗位，最后也如愿以偿找到了大数据软件开发的工作，在此期间整理了一下比较常见的相关面试题。

1.Mapreduce实际处理过程：

Input Map SortCombinePartitionReduceOutput

2.列出Yarn中的关键组件，并简

最低0.47元/天 解锁文章
梦忆故城
关注
  • 0
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据常见面试题目
cui264的博客
02-22 1907
  每天在在技术群里沉水,搜刮些面试题目,留作备用~1.简述对大数据组件：Yarn，Spark，Hbase，Hive的理解2.hdf文件系统中Namenode和DataNode区别和联系3.请描述Spark RDD中的transform和action的理解?4.两个类TextInputFormat和KeyValueInputFormat的区别是什么？5.在hadoop任务中，什么是inputspl...
大数据常见面试题
weixin_46729637的博客
05-22 591
一、什么是序列化和反序列化？为什么要用序列化？Hadoop为什么不用Java的序列化？ 1、序列化和反序列化 序列化：是指将内存中的对象转成字节序列以便存储到硬盘(持久化)或者在网络传输； 反序列化：将字节序列或者磁盘持久化文件转译成内存中的对象； 2、 为什么要序列化？ 一般来说活得对象值存在内存中，关机断电就没了，而“活着”的对象只能由本地进程使用，不能被发送到网络上的另一台计算机。而序列化可以存储“活着”的对象，并发送到远程计算机。 3、为什么Hadoop不用Java的序列化？ Hadoop序
大数据常见面试题及答案
热门推荐
遐想者
03-25 2万+
大数据常见面试题及答案，大部分都有涉及
常见大数据面试题汇总带答案
Direction_Wind的博客
07-20 1万+
大数据常见面试题
2024年最新史上最全141道大数据面试题：Redis+Linux+kafka+Hadoop，2024年最新大数据开发基础编程
2401_84166236的博客
05-14 413
18、有 10 个文件，每个文件 1G，每个文件的每一行存放的都是用户的 query，每个文件的 query 都可能重复。20、腾讯面试题：给 40 亿个不重复的 unsigned int 的整数，没排过序的，然后再给一个数，如何快速判断这个数是否在那 40 亿个数当中？25、有一千万条短信，有重复，以文本文件的形式保存，一行一条，有重复。23、一个文本文件，大约有一万行，每行一个词，要求统计出其中最频繁出现的前 10 个词，给出思想，给出时间复杂度分析。15、MapReduce 中排序发生在哪几个阶段？
大数据笔试题：超级重要知识点
闫振兴的博客
07-30 1万+
简答题：（每题5分，总分100分） Hadoop分布式集群与伪分布式集群的区别 分布式集群需要多台电脑,，一台为奴隶主机，其他的为奴隶机用来存储数据。 伪分布式集群可以使用一台电脑搭建，也可以使用多台电脑，只需要在slaves中添加自己的主机名就可以了，其他的与分布式一样。 Hadoop分为三个核心部分，每个部分是什么，有什么功能？ 三个核心：hdfs，mapreduce和yarn Had...
大数据超详细面试题汇总（附答案）
qq_45132574的博客
07-31 1万+
Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台Hdfs 是一个分布式文件系统，用来存储文件，通过目录树来定位文件Hdfs适合一次写入，多次写出的文件场景，且不支持文件的修改，适合用来做数据分析，并不适合用来做网盘应用NameNode : 管理HDFS的命名空间，配置副本策略，管理block的映射信息，处理客户端读写请求。
「面试必背」大数据面试题100道（收藏）
q66562636的博客
04-27 2万+
前言 随着 5G 时代的到来，大数据人工智能产业链又一次迎来了井喷式的爆发，随着岗位需求的不断增加，越来越多的人选择大数据课程，但是没有真正从事大数据工作的人面对企业面试有种无从下手的感觉，面对面试说不到技术的重点，每次面试只能靠队友，靠兄弟支援，尤其是面对架构，编程更是无从下手。于是我决定对市场上大多的有关大数据核心的面试题做一个详细的分析，也希望大家尽可能的做到举一反三，而不是局限于题目本身。 1、选择题 1.1.下面哪个程序负责 HDFS 数据存储。 a)NameNode b)Jobtrac
大数据运维面试题整理.pdf
12-24
总结，HDFS通过其独特的架构和机制，成功解决了大数据存储和管理的挑战，提供了高可用性和可扩展性，是大数据运维面试中不可或缺的知识点。理解并掌握这些概念对于任何涉及Hadoop和大数据运维的职位都至关重要。
大数据面试题整理.docx
04-17
【大数据面试题整理】 在大数据领域，面试通常会涵盖各种技术，如Hadoop、Spark、Flink、Java、Scala、HBase、Flume、Hive、Kafka、Zookeeper、Redis、MySQL、MongoDB、Linux、Sqoop和Oracle。这些技术在大数据处理...
大数据开发面试题，吐血整理
最新发布
05-28
包含hadoop/hive/kafka/flume/scala/spark/flink等相关大数据中间件面试，并且会不断更新，本资源提供了大数据开发领域常见的面试题和答案，旨在帮助求职者准备面试并提升在大数据开发方面的知识和技能。该文档涵盖...
精心整理的大数据面试题
02-20
在大数据面试中，了解和掌握相关的技术知识是非常关键的。...以上知识点涵盖了大数据、数据库管理、SQL查询和事务处理等多个方面，是面试中常见的问题，理解和掌握这些知识将有助于在面试中表现出色。
大数据面试整理
11-11
在大数据领域，面试题往往涵盖了各种技术和概念，旨在评估候选人的技术能力、理解和实践经验。以下是一些关于大数据面试的关键知识点： 1. **集群模式瓶颈**： 集群模式中的瓶颈通常出现在数据读写速度上，特别是...
15道经典大数据面试题
qq_36213530的博客
11-25 8719
自我介绍 + 项目介绍 数仓为什么要分层？ 数据仓库都分哪几层？ 简单介绍一下 Mapreduce 工作原理？ Hdfs 的读数据流程了解吗？ Hdfs 的写操作呢？ zookeeper的选举过程 Spark 为什么比 MapReduce 快? Spark 任务执行流程? Spark 用过的解决数据倾斜的方案说一下？ Flink 的四大基石都有哪些？ watermark 的作用是啥？如何保证数据..
大数据面试题及答案 100道 （最新版）持续更新
架构师专栏
10-22 1万+
大数据面试题及答案【最新版】大数据高级面试题大全(2021版)，发现网上很多大数据面试题都没有答案，所以花了很长时间搜集，本套大数据面试题大全 最近由于要准备面试就开始提早看些面试、笔试题。以下是自己总结的一些经常出现、有价值的试题，包含hadoop、hive、hbase、storm、spark等。答案仅供参考，如有错误，请指出。试题不定时更新。 如果不背 大数据面试题的答案，肯定面试会挂！ 这套 大数据面试题大全，希望对大家有帮助哈~ 博主已将以下这些面试题整理成了一个Java面试手册，是PDF版
大数据面试常见问题（七）——面试部分
大数据求学路
07-01 7165
如果千万的表格有分区，那么直接读取数据全量写入到对应的例如今天的分区中；如果是个普通的表格，那么可以使用insert into table进行数据的追加 select * from 库名.表名1.1 定义源数据抽取到ods层中，同一个业务日期数据中包含前一天或者后一天凌晨附近的数据或者丢失当天的变更数据。1.2 数据漂移出现的原因通常落地数仓的ODS表会按时间切分做分区存储，实际上往往由于时间戳字段的准确性问题导致发生数据漂移。通常有四类时间戳：modified_time:数据库记录某条数据更新的时间。lo
大数据面试题总结
2301_76522810的博客
05-19 3349
1. Spark的版本和对应的新特性主要是spark3.0之后的sparksql的AQE和动态分区裁剪AQE里面涉及了动态合并shuffle partition ， 动态调整join 策略，动态优化倾斜join2. Clickhouse和ES对比3. 介绍项目4. 小文件问题HDFS的用户权限管理是怎么做的？文件夹权限744代表的是什么？HDFS的下载和上传命令是什么？如果我要下载HDFS上Yarn的错误日志该怎么做Hive的小文件问题遇到过吗，怎么处理的？
大数据技术之高频面试题
努力！努力！在努力！
12-10 8578
大数据技术之高频面试题 第1章 项目涉及技术 1.1 Linux&Shell相关总结 序号 命令 命令解释 1 top 查看内存 2 df-h 查看磁盘存储情况 3 iotop 查看磁盘IO读写（yum intsall iotop安装） 4 iotop -o 直接查看比较高的磁盘读写程序 5 netstat -tunlp | grep 端口号 查看端口占用情况 6 uptime 查看报告
大数据常见面试题之spark core
03-16
Spark Core是Spark的核心组件，主要负责任务调度、内存管理、错误恢复、与存储系统的交互等。以下是大数据常见面试题之Spark Core： 1. 什么是Spark Core？ Spark Core是Spark的核心组件，它提供了分布式任务调度、内存管理、错误恢复、与存储系统的交互等功能。 2. Spark Core的作用是什么？ Spark Core的作用是管理Spark应用程序的整个生命周期，包括任务调度、内存管理、错误恢复、与存储系统的交互等。 3. Spark Core的优点是什么？ Spark Core的优点包括高效的内存管理、快速的任务调度、灵活的错误恢复、与多种存储系统的兼容性等。 4. Spark Core如何实现任务调度？ Spark Core通过DAG（有向无环图）来实现任务调度，将任务分解成多个阶段，每个阶段包含多个任务，然后按照依赖关系依次执行。 5. Spark Core如何实现内存管理？ Spark Core通过RDD（弹性分布式数据集）来实现内存管理，将数据分成多个分区，每个分区可以在不同的节点上进行计算，从而实现高效的内存管理。 6. Spark Core如何实现错误恢复？ Spark Core通过RDD的容错机制来实现错误恢复，当某个节点出现故障时，Spark会自动将该节点上的任务重新分配到其他节点上执行。 7. Spark Core如何与存储系统交互？ Spark Core通过支持多种存储系统的API来与存储系统交互，包括HDFS、S3、Cassandra等。同时，Spark还提供了自己的内存存储系统——Tachyon。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值