- 博客(8)
- 收藏
- 关注
RSS订阅原创 SPARK SQL与关系代数
总的来说，Apache Spark SQL是一个强大的数据处理工具，它结合了关系代数的理论基础、SQL查询语言的直观性以及关系型数据库的概念，使开发人员能够在大规模分布式数据处理中进行数据操作和分析。Apache Spark SQL与关系代数和关系型数据库之间存在密切的关联，因为它借鉴了关系代数的概念和SQL查询语言的结构，并提供了与关系型数据库类似的数据处理功能。总之，关系代数提供了一种操作和查询关系数据库的数学基础，而关系型数据库则是实际应用这些原理的数据库管理系统。
2023-09-18 15:51:19
108
转载 sql开窗函数
开窗函数 over()简介窗口函数OVER（）指定一组行，开窗函数计算从窗口函数输出的结果集中各行的值。开窗函数不需要使用GROUP BY就可以对数据进行分组，还可以同时返回基础行的列和聚合列。聚合函数例如collect_list 也可以在聚合的同时返回基础列1.当其他列只是收集，不做复杂处理时可以使用聚合+聚合函数2.需要明细及统计值，而且需要复杂处理使用开窗函数分类有： 排名开窗函数、聚合开窗函数-over() 的语法为：over([patition by ] )。需要注意的是，ove
2023-07-18 19:12:16
200
1
原创 Spark 读取orc 文件原理解析
Spark -orc internalspark 基本概念介绍RDD直观上，RDD可理解为下图所示结构，即RDD包含多个Partition（分区），每个Partition代表一部分数据并位于一个计算节点RDD本质上是Spark中的一个抽象类RDD包含以下成员方法或属性：1、compute方法提供在计算过程中Partition元素的获取与计算方式2、partition的列表每一个partition代表一个并行的最小划分单元；3、dependencies列表描述RDD依赖哪些父RDD生成
2020-08-11 17:04:12
3241
1
原创 jar包隔离技术介绍
最近项目需要使用jar包隔离技术，所以了解了几种方案，本文针对几种不同方案进行了介绍，不同问题有各自合适的方案，正在解决类似问题的同学可以通过本文快速了解jar包隔离的几种技术。spring boot 方式OSGIsofa-arkmaven-shade自定义classload...
2019-11-20 10:56:43
2077
1
转载 转载记录 程序设计--状态
聊聊程序设计（一）——有状态、无状态 在程序设计中，状态的概念是非常抽象的，要给出一个所有人都能接受的定义真的太难了，所以我只能根据我自己的理解尝试一下。我理解的状态是这样的：在两次或多次不同的进程（或线程）调用间有目的地引用了同一组数据，这组数据就称为状态，这样的调用就叫有状态调用，相反就是无状态调用。从这个定义中我们至少可以得出以下三点：状态是一组数据。数据有可变与不可变之分，对其访...
2019-09-07 17:23:06
138
原创 三种表连接方式比对
表连接执行有三种方式，分别为：嵌套循环Nested Loop Joins，哈希连接Hash Joins，排序合并Sort Merge Joins对于嵌套循环连接执行的方式：两表谓词过滤后的数据用双层循环的形式进行比较，选择出符合关联条件的行，外层循环为驱动表，内层循环为被驱动表，外层循环每有一条记录，就需要内层循环查找一次。优化条件：1.两表连接列上建立索引 ...
2019-04-26 18:03:10
1328
原创 mapreduce wordcount 输出结果不合并
期望输出结果：实际输出结果通过结果可以看出reduce执行有问题，借鉴之前文章的经验https://blog.csdn.net/qq_16018407/article/details/78894831排查reduce方法的代码 public static class IntSumReducer extends Reducer<Text,IntWritabl...
2019-01-16 15:49:16
441
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人