2020-10-24 大数据面试问题

上周面试数据开发职位主要从公司的视角讲一下记录下面试流水。

1. 三面技术一轮hr,面到了cto 整体来看是这一周技术含量最高信息量最大的一个,1到4轮过了4个小时,技术上的问题主要问的对数据分层的理解。

1. 一面自我介绍、目前团队的规模多大(20)、你负责的模块是那些(购物、短信、增长)、那几个人在做

2. 数据架构图划分(五层架构讲了7分钟左右)

3. 指标口径怎么统一 、那些工作(定标准、报表和核心、场景)、数据治理怎么做(元数据管理)

动作:业务迭代下线模型 。依据:指标热度、模型事实冗余、链路层级

4.报表可是化怎么做的、报表数量、访问量多大

集团自己开发的工具、看指标的场景指标分冷热分类,运营经常关注的核心指标做成核心模型、根据访问频次来设计分析型 的模型。

5.数据集成资源平衡,数据同步过程、增量同步、实时同步怎么做的

分离线同步,离线同步数量,mysql 同步过程 建表、同步任务模型(先擦除再写入)

实时同步:doris

6.数据状态变更同步,比如物流位置变更

同步方案,拉链表的使用

7.同步任务怎么实现的

datalink

8.每天同步数据量监控,你对数据的一些想法 上午数据库本来50t,下午增量150t 怎么发现原因,对任务怎么进行监控。

元数据管理

9.数仓底层到集市层,资源有限,怎么对任务做一些调度做些监控保证任务产出,底层调度yarn ,怎么安排任务。

10.100cu把500+任务合理分配保证合理运行。

1.500任务梳理,场景应用了解 2.任务分优先级标签 。如果数据有问题会卡住任务失败影响下游运行。失败任务解决方案

11.技术栈 sparksql 调优

1.数据倾斜

1.代码优化 jion、 group by 、distinct 优化

2.机器参数调优 参数优化 task 、shuffle 、小文件 。。。

父rdd就1000个,分配2000个有用么,spark资源怎么分配,executor数量是多少,怎么调整,资源使用率最大化

1.没有用,可以增加并行度增加cores和parallel数量。 executor设置上限,根据任务数据量设置不同的资源数,底层模型和报表模型。不一定看表的数据量

12. spark内存模型,1000g的内存在executer 上的分配

一个executor 是一个节点,按照每个节点的vcore配置

13.flink相关任务做过么

根据业务场景描述过程

14. 数据治理和指标统一的推动,数仓成熟度如何,olap推动解放数分的人力?

15.数仓的准确性价值

16.流批一体、目标数据架构、实时应用场景

 

17.二面主要讲的的是项目明细、实时的问题、怎么做指标的统一、mapreduce的流程

flink的很多checkpoint 机制,流流join的等待机制 waterdrop的 问了好多不懂的

18.三面cto面试上来没有自我介绍,

分层理解(5六分钟)、范式建模、什么是事实、模型冗余做法、数据治理工作

手写代码

19.hr面试

1.目前的薪资、为什么离职、团队中角色、涨薪情况、期望薪资(要少了,hr没还价)、期望的工作、对自己后续的规划、对面试公司了解么,996接收么、你和核心竞争力是什么。

我问了公司的文化、后续需要做的事情?

 

 

2.360 也是3面技术一面hr ,整体技术上很容易没什么很深的影响,简单问了下我自己的一些情况和一些

1.简单的hive知识(sort by、order by、distrubte by、cluster by 区别)很简单的问题,怎么做分层的,

2.二面问了很多语言相关的问题,hive有哪些窗口函数(row_number、lead、lag、first_vlaue等)也比较容易、 scala上 object 可以有main函数么(可以,我根据看的书大概的影响)、case 类和普通类的区别(不太 会)

3.shell 的基本用法

4.面试官是做系统架构刚转型数仓

3.菜鸟

一面面试高级java开发问了很多java问题 object和.java 执行流程

二面也是讲一下项目技术细节,面试官和数仓关系不大,问题不是很专业

4.拼多多

自我介绍 离线和实时都会有一些问题问了1个半小时,最后20分钟代码,就是速度有点慢,20分最后一问大概说了思路。大部分整体没什么影响了

1.一段sql 的执行流程怎么翻译成mapreduce的,喜欢问一些基本底层的问题。(sql主要的语法是group的用法)

2.hive和spark 的区别

3.操作数据库和数仓的区别尽可能说的更多

4.spark 的shuffle 的实现

5.mobtech 面试官感觉技术挺厉害

1.spark 中reducebykey、grupbykey、conbinerbykey是什么操作

2.RDD缓存有哪几个

3.怎么解决数据倾斜

4.最近看了那些书

5.工作过程解决那些技术难点 -我说的留存的方案

6.感觉影响最深的是 我问了数仓的发展问题,其中包含那些是变得那些事不变的?

职责 数据管理部门、数据服务 布局工具

不变: 不同场景下大数据解决方案、大数据组件熟悉

6.唯品会 技术也挺好都是spark 问题

1.boradcast 的原理

我曾经最看过一些资料,把目前的认知说了下,是关于orc和压缩方向的和数据节点之间的广播方案

2.CBO 问题

3.算子action是怎么样执行的

4.scala 中lazy的方案再java 中是如何实现的

5.spark 的shuffle 的实现

6.倾斜方案怎么解决- 回答的很详细还可以

7.RDD 的一个问题忘记了还不太会

7.百度

一面主要是面试官自己说,地点在北京,老大很nice ,说了目前的工作内容以及如何破局,人很是在。

8.2345网络 影响不深刻,聊的主要是跟技术无关

9.任意门 整个数据的上下游的理解、工作的期望

10.b站事业部总监 工作的期望

11.善珍hr hr很能说

12 palpay 英文简历没有希望给一份,用英文和外国人沟通

 

总结来说 最主要的还是自我介绍这一环节、其他的是环境上下游了解(数据分层、数据上下游、工程能力(spark内核、flink))、后续规划想法

 

 

 

 

 

 

 

 

 

 

©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页