2024年大数据最新【秋招面试】面试准备（一面准备）_秋招面试是什么样(3)，2024年最新分享我在大数据开发开发中走的一些弯路

最新推荐文章于 2024-11-14 09:21:17 发布

2401_84586779

最新推荐文章于 2024-11-14 09:21:17 发布

阅读量1k

点赞数 18

分类专栏：程序员文章标签：大数据面试学习

本文链接：https://blog.csdn.net/2401_84586779/article/details/138825436

版权

程序员专栏收录该内容

56 篇文章 0 订阅

订阅专栏

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

举例几个hive常用函数？

标准聚合函数：Count（）、Sum（）、Min（）、MAX（）或AVG（）； Rank；
Dense_Rank；
Row_number；
Cume_dist；
Percent_Rank；
NTile；
Lead；
Lag；
First_Value；
Last_Value；

ClickHouse和Hbase有什么区别
Hive和Hbase有什么区别

•Hive是通过构建元数据，映射HDFS文件构建成表，本质还是HDFS，实现离线大数据仓库
•Hbase是通过构建上层分布式内存，底层HDFS，实现大数据实时存储的NoSQL数据库

Hive和Mysql有什么区别
（内心os：啊这，为啥老问我这么多区别，现在仔细想想我应该回答的更完整才符合面试官的需求。）

如何处理Hive的数据倾斜
如何解决数据倾斜一类的问题，可参见这篇：
Hive千亿级数据倾斜解决方案
描述一下Hive的MapReduce过程

mapreduce的三大阶段：

map阶段：并行处理的阶段 shuffle阶段：从离开Mapper开启到进入Reduce之前的阶段 reduce阶段：汇总整理的阶段

mapreduce的八大步骤

设置MapReduce的输入InputFormat类型，默认为TextInputFormat
自定义map函数，得到TextInputFormat的k1，v1；经过处理后传出k2，v2
分区–默认根据k2决定map中的数据该发送到哪个reduce中排序–默认根据k2进行字典排序
规约–默认没有此阶段，是优化手段，可以提前合并分组–相同k2的value会放到同一个集合中
自定义reduce函数，讲分组得到的k2，v2转成k3，v3输出
设置输出的OutputFormat，默认采用TextOutputFormat，将结果输出到一个纯文本文件中

Hbase的设计原则
（没答完整，刚刚自己才写的面试题，小丑竟是我自己～）

业务原则：贴合业务，保证前缀是最常用的查询字段
唯一原则：每条rowkey唯一表示一条数据
组合原则：常用的查询条件组合作为Rowkey
散列原则：rowkey构建不能连续
长度原则：满足业务需求越短越好

最后一问：项目的数据流转

4.Java方面
java的基本数据类型有哪些？？？

java基本数据类型有boolean、byte、short、int、long、char、float、double等

说一下Java的多态和继承

继承子类可以直接实现父类中的方法，有选择的扩展
多态调用同一个方法展示出来不同的方式。

String、StringBuilder、StringBuffer的区别？

String：String类被final修饰不能被继承，String内部char[]被final修饰，字符串内容无法被修改
StringBuffer：可变字符串、效率低、线程安全；
StringBuilder：可变字符序列、效率高、线程不安全；

5.Mysql的一些问题
union和union all的区别
左连接和右连接内连接和外连接
什么是最左前缀原则？什么是最左匹配原则

顾名思义，就是最左优先，在创建多列索引时，要根据业务需求，where子句中使用最频繁的一列放在最左边。
最左前缀匹配原则，非常重要的原则，mysql会一直向右匹配直到遇到范围查询(>、<、between、like)就停止匹配，比如a = 1
and b = 2 and c > 3 and d = 4
如果建立(a,b,c,d)顺序的索引，d是用不到索引的，如果建立(a,b,d,c)的索引则都可以用到，a,b,d的顺序可以任意调整。
=和in可以乱序，比如a = 1 and b = 2 and c = 3 建立(a,b,c)索引可以任意顺序，mysql的查询优化器会帮你优化成索引可以识别的形式

innoDB啥。。。
没有复习过全军覆没。。。