![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
笔面试
文章平均质量分 52
苗尼玛乔
直到青春一定程度地浪费,才觉得可贵
展开
-
面试需要啥?
做过无数笔试题,做过无数面试题,基本上没遇到过很重视语言细节的语言本身方面,可能会问问虚函数和多态,重载,作用域,存储方式,字节对齐,一般问的不多,或者根本不问相反,对待你不懂XX语言上,往往表现的相当宽容,我面试时坦言自己只会一点C,对方也表示没有关系,而我目标职位没有一个跟C是有点关系的比较重要的是,基本数据结构和算法,大规模数据处理技巧,进程,线程,网络等系统问题转载 2016-04-23 09:53:43 · 206 阅读 · 0 评论 -
关于hadoop 的shuffle 过程理解(面试题系列~~~)
文章目录map 端的shuffle 过程reduce 端的shuffle 过程复制阶段合并阶段MapReduce 确保每个reducer 的输入都是按键进行排序的。系统执行排序,将map 输出作为输入传给reducer 的过程称为shuffle。map 端的shuffle 过程map 端会先将输出写入到内存缓冲区,当内存缓冲区到达指定的阈值时,一个后台线程就开始将缓冲区的内容spill 到...原创 2019-02-27 00:58:15 · 1020 阅读 · 0 评论 -
谈一谈你对mapreduce 的理解?(大数据面试题系列~)
MapReduce 是一种用于数据处理的编程模型。我们可以这样理解MapReduce, 把一堆杂乱无章的数据按照某种特征归纳起来,然后处理并得到最后的结果。Map 面对的是杂乱无章的互不相关的数据,它解析每个数据,从中提取key 和value, 也就是提取了数据的特征。经过MapReduce 的shuffle 阶段之后,在Reduce 阶段看到的都是归纳好的数据,然后再进行进一步的处理以得到结果。...原创 2019-03-05 21:46:39 · 1896 阅读 · 0 评论 -
kafka 的message 格式解读
CRC32:4个字节。消息的CRC校验码。magic:1个字节。魔数标识,与消息格式有关,取值为0或1。当magic为0时,消息的offset使用绝对offset且消息格式中没有timestamp部分;当magic为1时,消息的offset使用相对offset且消息格式中存在timestamp部分。attributes:1个字节。0~2位表示消息使用的压缩类型,0->无压缩 1-&gt...原创 2019-02-25 21:01:29 · 4763 阅读 · 0 评论 -
谈一谈你对yarn 的理解?(大数据面试题系列!!!)
YARN 是hadoop 的集群资源管理器。Yarn 在Hadoop2 中被引入,是为了要改善MapReduce1 的实现,但它具有足够的通用性,同样也支持其他的分布式计算模式。MapReduce1 的实现机制MapReduce 包括几个高级组件。主进程JobTracker是所有MapReduce 作业的信息交流中心。每个节点都有一个TaskTracker进程,管理相应节点的任务。TaskTr...原创 2019-03-04 22:51:48 · 2303 阅读 · 0 评论 -
深入剖析 kafka 可靠性是如果保证的?
文章目录kafka 可靠性提供的保证kafka 的复制机制相关配置项复制系数不完全的首领选举最少同步副本kafka 的复制机制和分区的多分布架构是kafka 可靠性保证的核心。把消息写入多个副本可以使kafka 在发生崩溃时仍能保证消息的持久性。kafka 可靠性提供的保证kafka 可以保证分区消息的顺序。如果使用同一个生产者往同一个分区写入消息,消息B 在消息A之后写入,那么kafka...原创 2019-03-01 00:12:25 · 384 阅读 · 0 评论 -
hdfs 文件读写的过程详解(大数据面试题系列~~~)
HDFS 集群以管理节点-工作节点的模式在运行,即一个namenode(管理节点)和多个datanode(工作节点)。namenode 管理文件系统的命名空间,它维护着文件系统树及整棵树内所有文件和目录。namenode 也记录着每个文件中各个块所在的数据节点信息。datanode 是文件系统的工作节点,它们根据需要存储并检索数据块。文件读取过程剖析首先HDFS 客户端向namenode 节...原创 2019-02-27 23:10:11 · 1064 阅读 · 0 评论 -
好未来2017校招笔试
一. 描述下进程和线程的区别1.当进程发生调度时,它拥有一个完整地虚拟地址空间,但不同的进程拥有不同的虚拟地址空间;而同一进程内的不同线程共享其所属进程的同一地址空间2.进程切换时涉及相关资源指针的保存以及地址空间的变化;而同一进程内的各线程共享其所属进程的资源和地址空间,切换时无须保存资源,无地址空间变化,从而减少了操作系统的开销3.进程的调度与切换由操作系统内核完成,而线程的调度可由操作系原创 2017-09-16 22:52:03 · 582 阅读 · 0 评论 -
SpringMvc 常见面试题整理(一)
你对springmvc的介绍?1. Spring 框架提供的构建web应用的模块2. 它是基于servlet功能实现的,通过实现Servlet接口的DispatcherServlet来封装其核心功能实现,同时带有配置的处理程序映射、视图解析、主题解析以及上载文件支持。3. 默认的处理程序是非常简单的controller接口,只有一个方法handleRequest()。简单的谈一下sp...原创 2018-08-14 20:08:45 · 6076 阅读 · 2 评论 -
谈一谈你对zookeeper 的理解(大数据面试题系列~~)
文章目录Zookeeper 几个基本概念集群角色会话数据节点ZnodeWatcher 事件监听器几个典型应用场景Master 选举实现分布式锁用作微服务的注册中心Apache Zookeeper 是由Apache Hadoop 的子项目发展而来,之后正式成为了Apache 的顶级项目。Zookeeper 是一个典型的分布式数据一致性的解决方案,它 为分布式应用提供了高效可靠的分布式协调服务,分...原创 2019-03-06 22:34:49 · 1804 阅读 · 0 评论