- 博客(4)
- 收藏
- 关注
RSS订阅原创 spark面试简洁版
Spark程序的驱动进程- 每个Spark程序都包含一个Driver进程- Driver运行以后会解析代码通过SparkContext来实现Driver功能- 负责向ClusterManager主节点申请启动Executor- 负责解析代码构建Task- 负责调度、分配以及监控Task的运行Spark程序的执行进程- 每个Spark程序都包含一个或者多个Executor进程。
2023-10-18 17:02:42
64
1
原创 Hive中order by ,distribute by ,sort by ,cluster by 作用与区别（带图分析）
当需要按照指定的列对数据进行分发，并且可能需要后续的排序操作时，可以使用distribute by。hive中的order by会对查询结果集执行一个全局排序，这也就是说map阶段中所有数据会在一个ruduce中进行处理，对于大数据集是一个很大的消耗。前提reduce个数大于1，当需要按照指定的列对查询结果进行局部排序，而不要求全局有序时，可以使用sort by。cluster by 不仅有distribute by的功能，还会有reduce中的数据进行排序，相当于。
2023-10-18 15:51:59
411
1
原创 hive避免数据倾斜问题总结（个人总结，方便日后复习）
2.给空值分配随机的key值，可以分配平均数，随机数，中位数，但是空值大多为主键，用concat其他列，hash值就不一样。first：一般都是一些Map Join,Bucket Map Join,SMB Join.一般这些不需要考虑，这些配置文件基本上中台都会配置，用不到自己去操作。所以解决方法都是围绕如何分散倾斜的数据（也就是均匀分配主键key值）两种方法目的一样，都是让数据能够分散到不同的节点中，保证相对均衡。2.使用随机数与性别做组合，形成新字段，按新字段分组。second：①key值分配不均匀。
2023-10-18 11:39:51
116
1
原创 StarRocks库中，关于count(distinct)的使用
在使用count(distinct)时，经常会出现这个报错，究其原因是多次调用count(distinct column_name)，但是column_name又不是相同的字段，所以导致报错出现。这个语法中，首先使用子查询获取去重后的结果集，然后再使用count(*)函数来计算结果集的行数。这个函数代替 count（distinct）
2023-09-06 09:30:32
590
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人