我正在参加年度博客之星评选，请大家帮我投票打分，您的每一分都是对我的支持与鼓励。
2021年「博客之星」参赛博主：Maynor大数据
https://bbs.csdn.net/topics/603955366
文章目录
- 我正在参加年度博客之星评选，请大家帮我投票打分，您的每一分都是对我的支持与鼓励。
- 每日精进
- 1.hdfs启动流程
- 2.hdfs ，spark streaming， flink三者中的checkpoint原理
- 1、谈谈你对Hive内部表、外部表、分区表、分桶表的区别，并介绍一下使用场景
- 2、介绍一下Sort By，Order By，Distrbute By，Cluster By的区别
- 3、谈谈你所知道有哪些常用的Hive调优方式？
- 1、清楚描述 MapReduce 的 shuffle 过程
- 2、HBase 的 rowkey 设计需要遵循什么原则，以及如何解决热点问题
- 3、早几年是有很多 elasticsearch /solr 为 mysql 或者 HBase 作二级索引，但是现在 elasticsearch 在不断的加大在大数据领域的支持，是否可以取代 HBase
- 1、谈谈Hadoop里面的压缩格式以及使用场景
- 2、Sqoop在导入数据的时候出现了数据倾斜，你有什么解决方案。另外，使用Sqoop的注意事项，你能列举出来几个？
- 3、小鹏汽车充电有两种类型，快充、慢充，有如下数据：
- 1、介绍一下拉链表的原理，以及适用于哪些场景?
- 2、如果使用spark遇到了 OOM ，你会怎么处理？
- 3、A 文件有 50 亿条 URL，B 文件也有 50 亿条 URL，每条 URL 大小为 64B，在一台只有 4G 内存的机器上，怎么找出 A、B 中相同的 URL？
- 1、简述Spark中的缓存机制（cache和persist）与checkpoint机制,并指出两者的区别与联系
- 2、Storm ，Spark Streaming , Spark structured streaming，Flink 的区别？
- 3、给40亿个不重复的无符号的 int的整数，没排过序的，然后再给一个数，如何快速判断这个数是否在那40亿个数当中？
- 1、简单讲述一下Yarn Application生命周期
- 2、Hive如何避免小文件的产生,你会如何处理大量小文件？
- 1、请谈谈 Flink 中的时间分类，以及适用的不同的场景
- 2、谈谈你所知道的 HBase 常见的优化
- 3、有两根不均匀分布的香，香烧完的时间是一个小时，你能用什么方法来确定一段15分钟的时间
- 1、简单谈谈 Flink 中重启策略
- 2、介绍一下Zookeeper 的选举机制，以及我们还可以用 Zookeeper 做些什么
- （player_id，event_date）是此表的主键。这张表显示了某些游戏的玩家的活动情况。每一行是一个玩家的记录，他在某一天使用某个设备注销之前登录并玩了很多游戏（可能是 0）。Activity table:
- 更多思考题
每日精进
1.hdfs启动流程
个人理解:
hdfs启动流程
hdfs是Hadoop Distribute File System 的简称,即分布式文件系统,用于存储海量数据.
hdfs的启动分为三步:1.启动Namenode;2.启动Datanode;3.启动Secondary Namenode;
详细说说:
Secondary NameNode的工作流程:(为了方便Secondary NameNode以SN替代,NameNode)首先SN通知NN切换成edits文件;
NN中的edits和fsimage通过http的方式传输到SN,并在SN中合并成新的fsimage.ckpt,之后传输回NN,并将旧的fsimage替换;
NN中的edits生成新的edits文件并替换旧的edits
参考答案:
2.hdfs ，spark streaming， flink三者中的checkpoint原理
spark和flink还没学,就先不回答了
基础题：
1、谈谈你对Hive内部表、外部表、分区表、分桶表的区别，并介绍一下使用场景
Hive内部表和外部表的区别在于:一个被删除时,元数据和数据全部被删除,一个数据保留,元数据被删除;内部表适用不需要保留数据的场景,外部表仅删除数据,适用保证数据安全的场景.
分区表是在原有数据表的结构上添加分区,这样在扫描时只扫描指定的分区,未指定的分区不扫描,减少了扫描的数量从而加快查询的效率,分桶表是在表和分区的基础上新添加的结构,用于提高join效率及取样,
他们的区别在于:分区表的字段绝对不能出现在数据表结构中,多层分区，其结构是嵌套结构。分桶需要指定分桶字段,且字段必须是数据表中已有的一个字段,分桶表的数据只能通过insert overwrite加载数据。
2、介绍一下Sort By，Order By，Distrbute By，Cluster By的区别
order by 全局排序，只有一个reduce,数据量大时效率较慢 sort by 一个reduce内部排序，不是全局排序。
DISTRIBUTE BY的字段与SORT BY的字段相同时，可以使用CLUSTER BY进行替换，但CLUSTER BY不能指定排序规则（只能是降序），DISTRIBUTE BY+SORT BY可以指定排序规则（可升可降）
思考题：
3、谈谈你所知道有哪些常用的Hive调优方式？
hive的优化很多,我们做项目时70%时间都花在hive的调优上.常见的Hive调优比如并行编译,小文件合并,矢量化查询,读取零拷贝优化,数据倾斜优化等等
关于hive的调优,我曾写过两篇博客专门总结了当时项目中存在的hive调优的点,各位大佬如果感兴趣可以点开链接看看:
链接
链接
基础题：
1、清楚描述 MapReduce 的 shuffle 过程
shuffle过程:分为四步
分区,排序,局部合并,分组
从内存角度看shuffle的过程:
Map将数据传入环形缓冲区(默认100MB),数据达到一定阈值(默认0.8)时,进行溢写生成n个临时文件,临时文件达到10个(可调整)后merge合并成一个大文件,
然后Reduce数据读取,reduce会主动发起拷贝线程到maptask获取属于自己的数据,数据进入到ReduceTask中的环形缓冲区,当达到一定阈值后进行溢写,生成临时文件,临时文件再合并成一个大文件,最后输出到Reduce
2、HBase 的 rowkey 设计需要遵循什么原则，以及如何解决热点问题
思考题：
3、早几年是有很多 elasticsearch /solr 为 mysql 或者 HBase 作二级索引，但是现在 elasticsearch 在不断的加大在大数据领域的支持，是否可以取代 HBase
基础题：
1、谈谈Hadoop里面的压缩格式以及使用场景
常用的压缩格式有LZO,LZ4,Gzip,Bzip2,Snappy,在实际项目开发中一般选用Snappy
思考题：
2、Sqoop在导入数据的时候出现了数据倾斜，你有什么解决方案。另外，使用Sqoop的注意事项，你能列举出来几个？
增加split by 解决
具体:
–split by 字段
-m 数量 使用几个Task进行数据采集
使用Sqoop遇到的bug:hdfs文件的权限问题,文件格式问题,没有设置主键,Output directory already exists…
智力题：
3、小鹏汽车充电有两种类型，快充、慢充，有如下数据：
车辆 ID 充电时间 充电类型
a 20200701 20:00:09 1
a 20200701 21:00:09 0
a 20200702 20:00:09 1
a 20200703 11:00:09 1
a 20200704 12:00:09 1
b 20200706 12:00:09 0
a 20200706 12:00:09 0
其中1为快充，0为慢充，求每辆车最长 连续快充次数 ，以上例子结果为
a 3
b 0
请写出对应的SQL
select id,count(1) as c from cars where (id+1,Num) in (select * from cars)
and (id+2,Num) in (select * from cars);
基础题
1、介绍一下拉链表的原理，以及适用于哪些场景?
拉链表的原理：说白了就是在原有表基础上增加两个字段，一个start_time，一个end_time
数据如果不变就不动，如果有新数据进来，就将原数据的end_time天数-1（改成前天），start_time不变，新数据的start_time写成今天，end_time设置成9999-12-31
这其中的操作都在新建的两张临时表（update表和tmp表）中进行，它适合最大程度节省存储空间，又能满足数据历史状态的场景
拉链表就是之前我们讲过的SCD2，它的优点是即满足了反应数据的历史状态，又能在最大程度上节省存储。
拉链表的实现需要在原始字段基础上增加两个新字段：
start_time(表示该条记录的生命周期开始时间——周期快照时的状态)
end_time(该条记录的生命周期结束时间)
4.3.1.8.1.2 采集实现步骤
1.建立增量数据临时表update；
2.抽取昨日增量数据(新增和更新)到update表；
3.建立合并数据临时表tmp；
4.合并昨日增量数据（update表）与历史数据（拉链表）
(1)新数据end_time设为’9999-12-31’，也就是当前有效；
(2)如果增量数据有重复id的旧数据，将旧数据end_time更新为前天（昨日-1），也就是从昨天开始不再生效；
(3)合并后的数据写入tmp表；
5.将临时表的数据，覆盖到拉链表中；
6.下次抽取需要重建update表和tmp表。
查询拉链表数据时，可以通过start_time和end_time查询出快照数据。
思考题
2、如果使用spark遇到了 OOM ，你会怎么处理？
智力题
3、A 文件有 50 亿条 URL，B 文件也有 50 亿条 URL，每条 URL 大小为 64B，在一台只有 4G 内存的机器上，怎么找出 A、B 中相同的 URL？
1、简述Spark中的缓存机制（cache和persist）与checkpoint机制,并指出两者的区别与联系
2、Storm ，Spark Streaming , Spark structured streaming，Flink 的区别？
智力题
3、给40亿个不重复的无符号的 int的整数，没排过序的，然后再给一个数，如何快速判断这个数是否在那40亿个数当中？
1、简单讲述一下Yarn Application生命周期
2、Hive如何避免小文件的产生,你会如何处理大量小文件？
基础题
1、请谈谈 Flink 中的时间分类，以及适用的不同的场景
在 flink 中被划分为事件时间，提取时间，处理时间三种。
如果以 EventTime 为基准来定义时间窗口那将形成 EventTimeWindow,要 求消息本身就应该携带 EventTime。如果以 IngesingtTime 为基准来定义时间窗口那将形成 IngestingTimeWindow,以 source 的 systemTime 为准。如果以 ProcessingTime 基准来定义时间窗口那将形成 ProcessingTimeWindow，以 operator 的 systemTime 为准。
思考题
2、谈谈你所知道的 HBase 常见的优化
Hbase的优化:
①热点问题引起的性能下降,可通过创建表时给定多个分区，Rowkey写入时不能连续解决。
②分布式设计思想：预分区
方式一：指定分隔段，实现预分区
方式二：指定Region个数，自动进行Hash划分：字母和数字的组合
方式三：JavaAPI
③Hbase表设计思想：Rowkey设计
业务原则：尽量将最常用的查询条件作为Rowkey的前缀
唯一原则：Rowkey必须时唯一标识
组合原则：尽量将最常用的几个查询条件组合成Rowkey
散列原则：构建无序的Rowkey
长度原则：长度不宜过长
④HBase 的列簇设计：将强相关的Key-Value都放在同一个列簇下，这样既能做到查询效率最高，也能保持尽可能少的访问不同的磁盘文件。
智力题：
3、有两根不均匀分布的香，香烧完的时间是一个小时，你能用什么方法来确定一段15分钟的时间
答:设A,B两根香,A点燃一头,B点燃两头,由于每只香烧完的时间都是1小时,B烧完时时间过去
30分钟,此时再点燃A的另一头,A烧完时恰好是45分钟,也就确定了烧15分钟的时间.
基础题
1、简单谈谈 Flink 中重启策略
Flink 支持不同的重启策略，这些重启策略控制着 job 失败后如何重启： 固定延迟重启策略 固定延迟重启策略会尝试一个给定的次数来重启 Job，如果超过了最大的重启次 数，Job 最终将失败。在连续的两次重启尝试之间，重启策略会等待一个固定的 时间。 失败率重启策略 失败率重启策略在 Job 失败后会重启，但是超过失败率后，Job 会最终被认定失 败。在两个连续的重启尝试之间，重启策略会等待一个固定的时间。 无重启策略 Job 直接失败，不会尝试进行重启。思考题
2、介绍一下Zookeeper 的选举机制，以及我们还可以用 Zookeeper 做些什么
以五个节点的Zookeeper为例，按照12345顺序启动集群。1、第1个节点启动后，投一票给自己。2345节点没有启动，第1个节点的票数不过半，不能是Leader,进入looking状态。2、第2个节点启动后，投一票给自己。345节点没有启动，第2个节点id为2，权重大于第1个节点id为1，所以获得第1个节点的1票，此时第2个节点有2票。票数不过半，不能是Leader,进入looking状态。3、第3个节点启动后，投一票给自己。45节点没有启动，第3个节点id为3，权重大于第2个节点id为2，所以获得第2个节点的2票，此时第3个节点有3票。票数过半，状态为Leader。第1、2节点变为Follower.4、第4个节点启动后，投一票给自己。 但此时第3个节点为Leader，第4个节点状态变为Follower。
5、第5个节点启动后，投一票给自己。 但此时第3个节点为Leader，第5个节点状态变为Follower。智力题
3、
±-------------±--------+
| Column Name | Type |
±-------------±--------+
| player_id | int |
| device_id | int |
| event_date | date |
| games_played | int |
±-------------±--------+
（player_id，event_date）是此表的主键。这张表显示了某些游戏的玩家的活动情况。每一行是一个玩家的记录，他在某一天使用某个设备注销之前登录并玩了很多游戏（可能是 0）。Activity table:
±----------±----------±-----------±-------------+
| player_id | device_id | event_date | games_played |
±----------±----------±-----------±-------------+
| 1 | 2 | 2016-03-01 | 5 |
| 1 | 2 | 2016-03-02 | 6 |
| 2 | 3 | 2017-06-25 | 1 |
| 3 | 1 | 2016-03-02 | 0 |
| 3 | 4 | 2018-07-03 | 5 |
±----------±----------±-----------±-------------+编写一个 SQL 查询，报告在首次登录的第二天再次登录的玩家的分数，四舍五入到小数点后两位。换句话说，您需要计算从首次登录日期开始至少连续两天登录的玩家的数量，然后除以玩家总数。查询结果格式如下所示：Result table:
±----------+
| fraction |
±----------+
| 0.33 |
±----------+
只有 ID 为 1 的玩家在第一天登录后才重新登录，所以答案是 1/3 = 0.33请写出SQL … select distinct (logs.player_id/5) as fraction from players p
where (player_id +1,Num) in (select from logs)
and (player_id +2,Num) in (select from logs) and p.games_played !=0;
扫一扫
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
