![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
面试
文章平均质量分 87
纯净天空7
漫漫长途 终有回转 余味苦涩 终有回甘
展开
-
大数据常见面试题(一)
一、当前集群环境CDH 6.3.3hadoop 3.0.0hbase 2.1.0hive 2.1.1impala 3.2.0spark 2.4.0kafka 2.2.1scala 2.11.12二、hadoop1.Hdfs的工作原理(读和写)★★★★★读:client请求namenode ,获取目标文件的元数据信息,namenode校检无误后,返回给client,client根据元数据与就近的datanode建立连接,获取block 块,并将block 块合并后,返回给cl原创 2021-04-21 23:24:38 · 1935 阅读 · 5 评论 -
大数据开发工程师面试题 (20.04.16)
概述本篇是本周周四博主面试遇到的问题,在此和大家分享一下。正文1.介绍一下你的项目那肯定是拿自己最拿手的项目啊,博主最近交付的项目名叫:XXX综合分析系统,就拿它讲一讲咯。参考示例:这是我的一个小伙伴 分享的 java项目的重点部分的讲述方式。壹背景:当时,有一个任务指标,是说,要我们根据 用户的历史购买记录或者访问足迹,定制有针对客户的广告产品的推送。贰接到任务后的思路:我接到的...原创 2020-04-17 00:39:47 · 755 阅读 · 2 评论 -
大数据开发工程师面试题 (20.04.15)
概述本篇同样是一些博主最近面试遇到的问题,在此和大家分享一下。正文1.在开发中,你们用的Flink版本答: 我们使用的是 Flink 1.8.0 版本。注意:各个版本的发布时间2.Flink发生数据倾斜,怎么解决?自带的数据倾斜解决机制?答:①自带的机制 rebalancing : 分区元素轮循,从⽽为每个分区创建相等的负载。dataStream.rebalance()...原创 2020-04-17 00:07:55 · 501 阅读 · 0 评论 -
大数据开发工程师面试题 (20.04.14)
概述本篇博客将收集总结一些,本博主面试 大数据开发工程师 岗位遇到的面试题,虽然不一定高频,但是也算经验之谈,希望对各位有所帮助。一1.什么是Spark RDDRDD:弹性分布式数据集 (Resilient Distributed DataSet)。Spark 中最基本的数据抽象是 RDD。创建RDD方法两种: 1.Driver并行化现有的Scala集合 2.引用外部存储系统2...原创 2020-04-14 23:13:03 · 1390 阅读 · 1 评论