- 博客(3)
- 收藏
- 关注
RSS订阅原创 Hive Sql题
第一题：了解哪些窗口函数，都是什么功能？找一个在某个业务中的应用？ 手写窗口函数及功能意义，同时随便写一个带窗口函数的sql，并说明其sql的含义。2、求出每个栏目的被观看次数及累计观看时长？数据: video表uid channel min 1 1 232 1 123 1 124 1 325 1 3426 2 137 2 348 2 139 2 134create table video( uid int, channel ...
2022-02-21 21:04:20
1197
原创 Spark的shuffle
1. Spark的shuffle阶段发生在阶段划分时，也就是宽依赖算子时。 宽依赖算子不一定发生shuffle。2. Spark的shuffle分两个阶段，一个使Shuffle Write阶段，一个使Shuffle read阶段。3. Shuffle Write阶段会选择分区器，比如HashPartitioner，RangePartitioner，或者使自定义分区器 也会根据一些条件，来选择到底使用哪一个Writer对象 unsafeshuffleWri...
2021-10-26 20:36:58
1900
原创 Spark算子的比较
比较map flatMap mapPartitions mapPartitionsWithIndexSpark中，最基本的原则，就是每个task处理一个RDD的partition。MapPartitions操作的优点：如果是普通的map，比如一个partition中有1万条数据；ok，那么你的function要执行和计算1万次。 但是，使用MapPartitions操作之后，一个task仅仅会执行一次function，function一次接收所有 的partition数据。只要执行一次就可以..
2021-10-21 19:27:51
127
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人