【秋招面试】面试准备（一面准备）_秋招面试是什么样

开头

大家好,我是程序员Manor,我希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。

事情是这样的：

期末考后，我在实习僧试着投了投字节的实习岗，没想到收到了校招的面试邀请

实际上算法这块我还是个菜狗
没办法机会难得，不知道下次能不能这么走运
只能硬着头皮上了……!

以下是我做的一些面试准备：

开场白

面试官你好，我是面试咱们公司大数据开发岗位的xxx，就读于xx大学的数据科学与大数据专业，2022年毕业，在校期间做过2个大型数仓项目，其中教育数仓项目通过大数据处理分析技术，为企业发展提供切实可行的中观指导意见。除了学习之外，我也喜欢写博客，复盘所学的知识,输出自己的成长经历，以及阅读与自己所学方向相关的书籍，如阿里巴巴的大数据之路这本书 。十分感谢贵公司提供的这次面试机会，期望有幸能够加入贵公司，成为大家的工作伙伴。

教育数仓项目介绍

项目背景：受互联网+概念，疫情影响，在线教育，K12教育等发展火热，越来越多的平台机构涌现。但是由于信息的共享利用不充分，导致企业多年积累了大量数据，而因为信息孤岛的问题，一直没有对这些数据进一步挖掘分析，因此也不能给企业的管理决策层提供有效的数据支撑。
项目价值：我们做的这个教育大数据分析平台项目，将大数据技术应用于教育行业，用擅长分析的OLAP系统为企业经营提供数据支撑。
实现思路：建立企业的数据仓库，把分散的业务数据预处理，其次根据业务需求从海量的用户行为数据挖掘分析，定制出多维的数据集合，形成数据集市，供各个场景主题使用，最后用BI工具，进行前端展示。
技术架构：mysql，sqoop，基于CM的Hive，Oozie和FineBi。由于OLTP系统中数据大多存储在mysql，所以我们最终选择Sqoop作为导入导出工具，抽取数据到数仓，并使用基于CM管理的Hive进行数据清洗＋分析，然后sqoop导出到mysql，最后用FineBI展示OLAP的数据分析结果。
三大痛点：一是数据量太大问题，传统数据库无法满足；二是系统多，数据分散问题，无法解决数据孤岛问题；三是，统计工作量太大，分析难度高问题，无法及时为企业提供数据参考。

可能问到的面试题
可能问到的面试题2

物流数仓项目介绍

项目背景:本项目基于一家大型物流公司研发的智慧物流大数据平台。该物流公司是国内综合性快递、物流服务商，并在全国各地都有覆盖的网点。
业务规模:经过多年的积累、经营以及布局，拥有大规模的客户群，日订单达 上千万。如此规模的业务数据量，传统的数据处理技术已经不能满足企业的经营分析需求。
项目价值:公司需要基于大数据技术构建数据中心，从而挖掘出隐藏在数据背后的信息价值，为企业提供有益的帮助,带来更大的利润和商机。
项目细节:
物流环节:大数据项目主要围绕订单、运输、仓储、搬运装卸、包装以及流通加工等物流环节中 涉及的数据、信息等。
指导方向:通过大数据分析可以提高运输以及配送效率、减少物流成本、更有效地满足客户 服务要求，实现快速、高效、经济的物流，并针对数据分析结果，提出具有中观指导意义的解决方案。
应用案例:针对物流行业的特性，大数据应用主要体现在车货匹配、运输路线优化、库存预测、设备修理预测、供应链协同管理等方面。

针对以上的物流企业痛点，我们给出对应的大数据架构解决方案：
数据源：关系型数据库Oracle和MySQL
采集：OGG和Canal分别将Oracle和MySQL的增量数据同步到Kafka集群存储：ETL计算之后分别存储到kudu，Elasticsearch，ClickHouse中
计算引擎：处理数据使用StructuredStreaming
技术亮点:
该项目具有完整Lambda 架构系统，有离线业务、也有实时业务
ClickHouse实时存储、计算引擎Kudu + Impala准实时分析系统
以企业主流的Spark生态圈为核心技术，例如：Spark、Spark SQL、structured Streaming Elasticsearch 全文检索
SpringCloud 搭建数据服务

可能问到的面试题（1）
可能问到的面试题（2）

面试过程

1.自我介绍
2.简单介绍2个项目+项目选型+负责哪一部分
负责的部分是离线数仓部分
3.围绕项目问问题：
项目所使用的数据模型（问的是星型模型和雪花模型的区别，愣是半天没反应过来，害）

举例几个hive常用函数？

标准聚合函数：Count（）、Sum（）、Min（）、MAX（）或AVG（）； Rank；
Dense_Rank；
Row_number；
Cume_dist；
Percent_Rank；
NTile；
Lead；
Lag；
First_Value；
Last_Value；

ClickHouse和Hbase有什么区别
Hive和Hbase有什么区别

•Hive是通过构建元数据，映射HDFS文件构建成表，本质还是HDFS，实现离线大数据仓库
•Hbase是通过构建上层分布式内存，底层HDFS，实现大数据实时存储的NoSQL数据库

Hive和Mysql有什么区别
（内心os：啊这，为啥老问我这么多区别，现在仔细想想我应该回答的更完整才符合面试官的需求。）

如何处理Hive的数据倾斜
如何解决数据倾斜一类的问题，可参见这篇：
Hive千亿级数据倾斜解决方案
描述一下Hive的MapReduce过程

mapreduce的三大阶段：

map阶段：并行处理的阶段 shuffle阶段：从离开Mapper开启到进入Reduce之前的阶段 reduce阶段：汇总整理的阶段

mapreduce的八大步骤

设置MapReduce的输入InputFormat类型，默认为TextInputFormat
自定义map函数，得到TextInputFormat的k1，v1；经过处理后传出k2，v2
分区–默认根据k2决定map中的数据该发送到哪个reduce中 排序–默认根据k2进行字典排序
规约–默认没有此阶段，是优化手段，可以提前合并 分组–相同k2的value会放到同一个集合中
自定义reduce函数，讲分组得到的k2，v2转成k3，v3输出
设置输出的OutputFormat，默认采用TextOutputFormat，将结果输出到一个纯文本文件中

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

以上大数据知识点，真正体系化！**

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取