大数据捌圆-CSDN博客

原创 03-算法训练营第三天 | 力扣203移除链表元素、力扣707设计链表、力扣206反转链表

03-算法训练营第三天 | 力扣203移除链表元素、力扣707设计链表、力扣206反转链表

2022-10-15 16:18:54 472

原创 02-算法训练营第二天 | 力扣977有序数组的平方、力扣209长度最小的子数组、力扣59螺旋矩阵||

02-算法训练营第二天 | 力扣977有序数组的平方、力扣209长度最小的子数组、力扣59螺旋矩阵||

2022-10-13 23:55:36 282

原创 01-算法训练营第一天 | 力扣704二分查找、力扣27移除元素

01-算法训练营第一天 | 力扣704二分查找、力扣27移除元素

2022-10-12 23:43:49 493 1

原创 26-大数据架构为什么要用kafka

大数据架构为什么要用kafka

2022-06-30 23:03:42 1052 1

原创 25-kafka与mq对比

kafka与mq对比

2022-06-30 22:31:22 307

原创 27-spark各版本对比

spark各版本对比

2022-06-30 21:30:32 4525

原创 36-sparkstreaming

SparkStreaming

2022-06-24 09:10:51 297

原创 26-spark内核源码（重点）

spark内核源码

2022-06-23 15:14:31 174

原创 25-如何使用Spark实现TopN的获取（描述思路或使用伪代码）（重点）

如何使用Spark实现TopN的获取

2022-06-23 08:02:27 232

原创 24-当Spark涉及到数据库的操作时，如何减少Spark运行中的数据库连接数？

当Spark涉及到数据库的操作时，如何减少Spark运行中的数据库连接数

2022-06-23 07:25:44 422

原创 23-SparkSQL中RDD、DataFrame、DataSet三者的转换（笔试重点）

SparkSQL中RDD、DataFrame、DataSet三者的转换

2022-06-23 07:24:29 227

原创 22-spark累加器和广播变量

spark累加器和广播变量

2022-06-23 07:21:39 160

原创 21-spark分区

spark分区

2022-06-23 07:04:50 122

原创 20-简述下spark中的缓存（cache和persist）与checkpoint机制，并指出两者的区别和联系

简述下Spark中的缓存(cache和persist)与checkpoint机制，并指出两者的区别和联系

2022-06-22 16:17:16 506

原创 18-cache缓存级别

cache缓存级别

2022-06-22 15:55:05 119

原创 17-spark任务划分

Spark任务的划分

2022-06-22 12:09:43 776

原创 15-kryo序列化

kryo序列化

2022-06-22 09:29:54 257

原创 14-reduceByKey、foldByKey、aggregateByKey、combineByKey区别

reduceByKey、foldByKey、aggregateByKey、combineByKey区别

2022-06-22 09:14:06 234

原创 13-reduceByKey与groupByKey的区别

reduceByKey与groupByKey的区别

2022-06-22 08:50:25 112

原创 12-Repartition和Coalesce区别

Repartition和Coalesce区别

2022-06-21 22:35:01 191

原创 11-map和mapPartitions区别

map和mapPartitions区别

2022-06-21 22:29:40 105

原创 09-spark的transformation算子（不少于8个，重点）

spark的transformation算子

2022-06-21 22:07:15 143

原创 08-RDD五大特性

RDD五大属性

2022-06-21 17:20:01 103

原创 35-简述spark的宽窄依赖，以及spark如何划分stage，每个stage又根据什么决定task个数

简述spark的宽窄依赖，以及spark如何划分stage，每个stage又根据什么决定task个数

2022-06-21 16:43:39 505

原创 34-spark数据倾斜解决

spark数据倾斜解决

2022-06-18 19:20:45 393

原创 33-troubleshooting

troubleshooting

2022-06-17 21:40:16 200

原创 32-spark项目优化方案

spark性能优化

2022-06-17 16:46:32 693

原创 16-如何理解spark的血统（RDD）概念

如何理解spark血统概念

2022-06-13 21:39:11 289

原创 07-spark提交作业参数与spark任务提交方式

spark提交作业参数与spark任务提交方式

2022-06-13 21:17:59 311

原创 03-spark有几种部署方式？请分别简要概述

spark部署方式

2022-06-13 20:39:08 176

原创 11-Tez引擎优点

tez引擎优点

2022-06-12 00:32:27 567

原创 10-hive里面字段的分隔符用的什么？为什么用\t？有遇到过字段里面有\t的情况吗，怎么处理的

hive字段分隔符

2022-06-12 00:26:38 1343

原创 09-hive解决数据倾斜方法

hive解决数据倾斜方法

2022-06-12 00:20:22 315

原创 08-hive优化

hive优化

2022-06-11 23:49:48 114

原创 07-窗口函数

窗口函数

2022-06-11 23:22:43 94

原创 06-自定义UDF、UDTF函数

自定义UDF、UDTF函数

2022-06-11 22:30:39 458

原创 05-系统函数

hive系统函数

2022-06-11 22:26:21 102

原创 04-4个By区别

4个by区别

2022-06-11 16:11:39 884

原创 03-内部表和外部表

内部表和外部表

2022-06-11 16:05:49 152

原创 02-hive与数据库比较

hive与数据库比较

2022-06-11 15:45:36 123

空空如也

空空如也