大数据集群组件的使用
文章平均质量分 62
关于spark和Spark Sql的使用,集成各种大数据集群组件的集成使用
小辉懂编程
始于热爱,忠于记录,终于研究,本人暂时可培训:全国职业院校技能大赛(大数据开发)赛项比赛
展开
-
关于vue3异步=>同步,请求接口数据再echarts图表渲染
当遇到`await`关键字时,它会暂停当前异步函数的执行,等待后面的异步操作完成,并返回其结果。在使用`await`等待异步操作时,它会将控制权交给其他代码,直到异步操作完成才会继续执行。1. async关键字:用于定义一个函数或方法为异步函数。异步函数在执行过程中可以暂停,让出执行权给其他代码,然后在某个条件满足后再继续执行。异步函数使用`async`关键字来修饰函数定义。问题原因:因为异步的请求,所以还未全部请求完数据,页面加载就已经渲染了,导致未拿到数据。原创 2023-07-10 10:25:44 · 6531 阅读 · 4 评论 -
Window 窗口函数 (Spark Sql)
在 Spark SQL 中,Window 函数是一种用于在查询结果集中执行聚合、排序和分析操作的强大工具。它允许你在查询中创建一个窗口,然后对窗口内的数据进行聚合计算。原创 2023-10-17 08:49:17 · 930 阅读 · 0 评论 -
sparksql 中的concat_ws 和sort_array 和collect_list的使用方法
`concat_ws`用于将多个字符串连接成一个以指定分隔符分隔的单个字符串。- 语法:`concat_ws(separator, str1, str2, ...)`- 示例:```sql```结果将是一个字符串:"apple,banana,cherry"原创 2023-10-08 20:05:30 · 2409 阅读 · 0 评论 -
Sqark Sql 的percentile_approx计算中位数
percentile_approx` 聚合函数,用于计算指定列的近似分位数。具体来说,`percentile_approx` 函数的参数包括三个部分:- 第一个参数是要计算分位数的列,这里使用 `$"order_money"` 表示使用名为 "order_money" 的列进行计算。- 第二个参数是要计算的分位数的百分比,这里使用 `lit(0.5)` 表示计算中位数(50% 的分位数)。原创 2023-09-28 11:22:20 · 1453 阅读 · 0 评论 -
spark 集成 ClickHouse 和 MySQL (读和写操作)(笔记)
【代码】spark 集成 ClickHouse 和 MySQL (读和写操作)(笔记)原创 2023-09-28 08:49:19 · 1843 阅读 · 0 评论 -
Spark集成ClickHouse(笔记)
在大数据处理和分析领域,Spark 是一个非常强大且广泛使用的开源分布式计算框架。而 ClickHouse 则是一个高性能、可扩展的列式数据库,特别适合用于实时分析和查询大规模数据。将 Spark 与 ClickHouse 集成可以充分发挥它们各自的优势,使得数据处理和分析更加高效和灵活。原创 2023-09-26 19:05:11 · 1955 阅读 · 0 评论 -
spark withColumn的使用(笔记)
withColumn():是Apache Spark中用于DataFrame操作的函数之一,它的作用是在DataFrame中添加或替换列,或者对现有列进行转换操作和更新等等。原创 2023-09-13 16:03:26 · 2542 阅读 · 0 评论