【面试题】大数据方向

1.你是怎么接触的大数据？

2.你们的数仓模型是什么样的？

星型模式、雪花模型、星座模型

3.星型模式、雪花模型、星座模型各有什么好处？

4.数仓分层架构的设计及每一层干什么的？

5.你们数仓中拉链表怎么设置的？

https://mp.weixin.qq.com/s/R1UKVq3u-i6mW4GEXRentg

拉链表专门用于解决在数据仓库中数据发生变化如何实现数据存储的问题。

拉链表的设计是将更新的数据进行状态记录，没有发生更新的数据不进行状态存储，用于存储所有数据在不同时间上的所有状态，通过时间进行标记每个状态的生命周期，查询时，根据需求可以获取指定时间范围状态的数据，默认用9999-12-31等最大值来表示最新状态。

你们拉链表有分区吗？拉链表分区是怎么控制的？（我说的是每天全量刷新，他接着问如果你们数据量特别大呢？怎么解决的？）

事实表有哪些？事实表中的历史数据怎么修改？（这个没答上来，面试官说你们没有做过快照表吗？这个没听说过）

你们工作中实际的工作流程是怎么样的？

你们元数据管理怎么做的？

6.你们数仓部门几个人？

7.你们集群是什么规模？每台服务器什么配置？

8.数仓中用的存储格式是什么？ORC和Parquet一般是什么场景下用？

9.Hive中的UDF和UDTF？

UDF（User-Defined-Function）普通函数，一进一出

UDAF（User-Defined Aggregation Function）聚合函数，多进一出

•count:统计检索到的总行数。
•sum:求和
•avg:求平均
•min:最小值
•max:最大值
•数据收集函数（去重）: collect_set(col)
•数据收集函数（不去重）: collect_list(col)

UDTF（User-Defined Table-Generating Functions）表生成函数，一进多出

10.开窗函数的介绍？排序的函数？

窗口函数（Window functions）是一种SQL函数，非常适合于数据分析，因此也叫做OLAP函数，其最大特点是：输入值是从SELECT语句的结果集中的一行或多行的“窗口”中获取的。你也可以理解为窗口有大有小（行有多有少）。

通过OVER子句，窗口函数与其他SQL函数有所区别。如果函数具有OVER子句，则它是窗口函数。如果它缺少OVER子句，则它是一个普通的聚合函数。

窗口函数可以简单地解释为类似于聚合函数的计算函数，但是通过GROUP BY子句组合的常规聚合会隐藏正在聚合的各个行，最终输出一行，窗口函数聚合后还可以访问当中的各个行，并且可以将这些行中的某些属性添加到结果集中。

窗口排序函数

row_number：在每个分组中，为每行分配一个从1开始的唯一序列号，递增，不考虑重复；

rank: 在每个分组中，为每行分配一个从1开始的序列号，考虑重复，挤占后续位置；

dense_rank: 在每个分组中，为每行分配一个从1开始的序列号，考虑重复，不挤占后续位置；

11.Sort by和Order by的区别？

order by 会对输入做全局排序，因此只有一个reducer（多个reducer无法保证全局有序）只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。

sort by不是全局排序，其在数据进入reducer前完成排序.
因此，如果用sort by进行排序，并且设置mapred.reduce.tasks>1， 则sort by只保证每个reducer的输出有序，不保证全局有序。

12.行转列和列转行用的哪些函数？

collect_ws
collect_set
collect_list

collect_set去除重复元素；collect_list不去除重复元素

13.Hive中Join的工作原理？mapJoin的工作原理？

https://blog.csdn.net/u013668852/article/details/79768266

14.工作中如果做一个指标需要依赖于别人开发设计好的一张宽表，这种场景你们是怎么处理的？

15.数仓怎么搭建起来的？

16.你们数仓怎么建模型的？怎么分层的？

17.如果要让你设计一个模型的话，你会怎么设计？（可以随便举个例子来说）

18.指标分析你们主要是用的什么？

19.谈谈你对Hive的优化以及写SQL过程中的优化？

20.Select * 与Select 写全部列名 这两个有什么区别吗？

结论：两者差别几乎可忽略。所以查询所有字段（或者大多数字段）的时候，大可 select * 来操作。如果某些不需要的字段数据量特别大，还是写清楚字段比较好，因为这样可以减少网络传输。

（1）减少数据的负担。

SELECT *，需要数据库先 Query Table Metadata For Columns，一定程度上为数据库增加了负担（影响网络传输的性能），但是实际上，两者效率差别不大。

（2）考虑到今后的扩展性。

因为程序里面你需要使用到的列毕竟是确定的， SELECT * 只是减少了一句 SQL String 的长度，并不能减少其他地方的代码。

（3）索引问题

select abc from table; 和 select * from table;

在 abc 字段有索引的情况下，mysql 是可以不用读 data，直接使用 index 里面的值就返回结果的。但是一旦用了 select *，就会有其他列需要读取，这时在读完 index 以后还需要去读 data 才会返回结果，这样就造成了额外的性能开销。

综上：除平时练习使用，其他情况都不推荐使用 SELECT * FROM XXX 。

21.一个SQL题：如何去求这一天24小时每隔5分钟的股票的一个峰值和低估值？（不是实时的，数据可以是昨天一天的数据）

22.维度建模 如何建？

确认主题 确认粒度 确认度量 确认事实表 确认维度表

23.Redis有哪些数据结构？zset底层咋实现的？

String：使用一种叫简单动态字符串（SDS）的数据类型来实现

List：一个 key 对应一个字符串列表，底层使用双向链表实现，很多双向链表支持的操作它都支持。

Hash

Set

Zset ：数据少时：使用ziplist 数据多时：(字典（dict） + 跳表)

三种特殊数据类型：位图(bitmaps) 、计数器(hyperloglogs)和地理空间(geospatial indexes)。

24.Redis用来当分布式锁是咋整的？

25.Zookeeper知道不？里面用的啥协议？

ZAB

26.MySQL有哪些锁？next-key lock能解决啥问题？

https://www.51cto.com/article/665412.html

27.Kafka通过哪些机制实现了高吞吐量？

1、顺序读写
kafka的消息是不断追加到文件中的，这个特性使kafka可以充分利用磁盘的顺序读写性能
顺序读写不需要硬盘磁头的寻道时间，只需很少的扇区旋转时间，所以速度远快于随机读写

2、零拷贝
在Linux kernel2.2 之后出现了一种叫做"零拷贝(zero-copy)"系统调用机制，就是跳过“用户缓冲区”的拷贝，建立一个磁盘空间和内存的直接映射，数据不再复制到“用户态缓冲区”

常用模式：

kafka使用如下模式：

3、分区
kafka中的topic中的内容可以被分为多分partition存在,每个partition又分为多个段segment,所以每次操作都是针对一小部分做操作，很轻便，并且增加并行操作的能力

4、批量发送
kafka允许进行批量发送消息，producter发送消息的时候，可以将消息缓存在本地,等到了固定条件发送到kafka

等消息条数到固定条数
一段时间发送一次
5、数据压缩
Kafka还支持对消息集合进行压缩，Producer可以通过GZIP或Snappy格式对消息集合进行压缩
压缩的好处就是减少传输的数据量，减轻对网络传输的压力

28.MySQL的事务隔离级别

29.MySQL的默认事务级别

30.MySQL如何解决的幻读

31.说一下MVCC

32.如果给你提一个需求，需要将ods、dwd、dws层数据全部都要用到，并且需要全部都要重新在做一遍，然后为了生成这个ads层数据的结果，你是怎么避免这种烟囱式式开发的？、

个人见解：其实当提出这种问题的时候，一般公司内部如果没有良好的数据治理方案，已经出现了好多烟囱开发需求了；如果有良好的数据治理方案不会出现这种每层全部都要用的需求，早已经扼杀在摇篮中了。首先，目前数仓对于这个需求来讲就是不合适的，数据模型明显存在了落后无法满足新需求以及以后的需求；第一如果需求不急于求成。 需要先着手升级数据模型，将（以前堆积的烟囱）数据需求以及能够考虑到的未来挖掘方向重新糅合到一块，待模型迭代完毕后，然后接着开发这个需求。第二如果需求很赶，建议采用数据模型中的敏捷开发模式，将数据接口先给出去，不耽误使用；然后再安排数据模型的迭代开发。

这种每层全部都要用的需求，早已经扼杀在摇篮中了。首先，目前数仓对于这个需求来讲就是不合适的，数据模型明显存在了落后无法满足新需求以及以后的需求；第一如果需求不急于求成。 需要先着手升级数据模型，将（以前堆积的烟囱）数据需求以及能够考虑到的未来挖掘方向重新糅合到一块，待模型迭代完毕后，然后接着开发这个需求。第二如果需求很赶，建议采用数据模型中的敏捷开发模式，将数据接口先给出去，不耽误使用；然后再安排数据模型的迭代开发。

阿里onedata那套实施方案 构建一致性维度 构建指标体系 数据域划分 划分主题域、构建⼀致性维度、整合事实表