大数据最全【面试题】大数据方向_大数据方向问题(1)，一次关于大数据开发的面试经历

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

7.你们集群是什么规模？每台服务器什么配置？

8.数仓中用的存储格式是什么？ORC和Parquet一般是什么场景下用？

9.Hive中的UDF和UDTF？

UDF（User-Defined-Function）普通函数，一进一出

UDAF（User-Defined Aggregation Function）聚合函数，多进一出

•count:统计检索到的总行数。
•sum:求和
•avg:求平均
•min:最小值
•max:最大值
•数据收集函数（去重）: collect_set(col)
•数据收集函数（不去重）: collect_list(col)

UDTF（User-Defined Table-Generating Functions）表生成函数，一进多出

10.开窗函数的介绍？排序的函数？

窗口函数（Window functions）是一种SQL函数，非常适合于数据分析，因此也叫做OLAP函数，其最大特点是：输入值是从SELECT语句的结果集中的一行或多行的“窗口”中获取的。你也可以理解为窗口有大有小（行有多有少）。

通过OVER子句，窗口函数与其他SQL函数有所区别。如果函数具有OVER子句，则它是窗口函数。如果它缺少OVER子句，则它是一个普通的聚合函数。

窗口函数可以简单地解释为类似于聚合函数的计算函数，但是通过GROUP BY子句组合的常规聚合会隐藏正在聚合的各个行，最终输出一行，窗口函数聚合后还可以访问当中的各个行，并且可以将这些行中的某些属性添加到结果集中。

窗口排序函数

row_number：在每个分组中，为每行分配一个从1开始的唯一序列号，递增，不考虑重复；

rank: 在每个分组中，为每行分配一个从1开始的序列号，考虑重复，挤占后续位置；

dense_rank: 在每个分组中，为每行分配一个从1开始的序列号，考虑重复，不挤占后续位置；

11.Sort by和Order by的区别？

order by 会对输入做全局排序，因此只有一个reducer（多个reducer无法保证全局有序）只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。

sort by不是全局排序，其在数据进入reducer前完成排序.
因此，如果用sort by进行排序，并且设置mapred.reduce.tasks>1， 则sort by只保证每个reducer的输出有序，不保证全局有序。

12.行转列和列转行用的哪些函数？

collect_ws
collect_set
collect_list

collect_set去除重复元素；collect_list不去除重复元素

13.Hive中Join的工作原理？mapJoin的工作原理？

https://blog.csdn.net/u013668852/article/details/79768266

14.工作中如果做一个指标需要依赖于别人开发设计好的一张宽表，这种场景你们是怎么处理的？

15.数仓怎么搭建起来的？

16.你们数仓怎么建模型的？怎么分层的？

17.如果要让你设计一个模型的话，你会怎么设计？（可以随便举个例子来说）

18.指标分析你们主要是用的什么？

19.谈谈你对Hive的优化以及写SQL过程中的优化？

20.Select * 与Select 写全部列名 这两个有什么区别吗？

结论：两者差别几乎可忽略。所以查询所有字段（或者大多数字段）的时候，大可 select * 来操作。如果某些不需要的字段数据量特别大，还是写清楚字段比较好，因为这样可以减少网络传输。

（1）减少数据的负担。

SELECT *，需要数据库先 Query Table Metadata For Columns，一定程度上为数据库增加了负担（影响网络传输的性能），但是实际上，两者效率差别不大。

（2）考虑到今后的扩展性。

因为程序里面你需要使用到的列毕竟是确定的， SELECT * 只是减少了一句 SQL String 的长度，并不能减少其他地方的代码。

（3）索引问题

select abc from table; 和 select * from table;

在 abc 字段有索引的情况下，mysql 是可以不用读 data，直接使用 index 里面的值就返回结果的。但是一旦用了 select *，就会有其他列需要读取，这时在读完 index 以后还需要去读 data 才会返回结果，这样就造成了额外的性能开销。

综上：除平时练习使用，其他情况都不推荐使用 SELECT * FROM XXX 。

21.一个SQL题：如何去求这一天24小时每隔5分钟的股票的一个峰值和低估值？（不是实时的，数据可以是昨天一天的数据）

22.维度建模 如何建？

确认主题 确认粒度 确认度量 确认事实表 确认维度表

23.Redis有哪些数据结构？zset底层咋实现的？

String：使用一种叫简单动态字符串（SDS）的数据类型来实现

List：一个 key 对应一个字符串列表，底层使用双向链表实现，很多双向链表支持的操作它都支持。

Hash

Set

Zset ：数据少时：使用ziplist 数据多时：(字典（dict） + 跳表)

三种特殊数据类型：位图(bitmaps) 、计数器(hyperloglogs)和地理空间(geospatial indexes)。

24.Redis用来当分布式锁是咋整的？

25.Zookeeper知道不？里面用的啥协议？

ZAB

26.MySQL有哪些锁？next-key lock能解决啥问题？

https://www.51cto.com/article/665412.html

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取