![](https://img-blog.csdnimg.cn/20190927151053287.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
数仓优化实战
文章平均质量分 82
数仓优化实战
不二人生
刀光剑影江湖情,摧枯拉朽浪滔滔。功名利禄拂衣去,山高水远路迢迢。一个上得了厅堂下得了厨房、左手写诗右手写词的男人
展开
-
优化实战篇—关联的优化
根据定义,自关联是表自身的关联。在本文中,我们将检查如何在Hive中编写自连接查询,它的性能问题以及如何优化它。开始之前我们可以看一下之前关于关联的文章。其实case 在join 中的关联有一个非常典型的应用,那就是我们可以用来处理join 的时候的数据倾斜,我们可以使用case when 对特定倾斜的值进行处理,例如NULL值。员工表包含员工的详细信息,员工也可以是经理。语法,这个时候可能会看到性能有所提示,常见的创建临时表的方式如下。其实关于自关联的优化手段,和我们之前优化。的可以看看我们之前的文章。原创 2024-07-18 09:32:03 · 31340 阅读 · 0 评论 -
优化实战篇—自关联的优化
根据定义,自关联是表自身的关联。自连接通常仅在给定数据中存在父子关系时使用。在本文中,我们将检查如何在Hive中编写自连接查询,它的性能问题以及如何优化它。开始之前我们可以看一下之前关于关联的文章。语法,这个时候可能会看到性能有所提示,常见的创建临时表的方式如下。有个需求就是我们需要从一个查询结果上进行自关联,这里我使用。其实关于自关联的优化手段,和我们之前优化。语法构造了这个查询,更多关于。其实我们可以使用临时表来替代。的差不多,我们简单看一下。的可以看看我们之前的文章。原创 2024-07-14 10:03:53 · 30915 阅读 · 0 评论 -
优化实战篇—UDAF批量和多线程并发调用外部请求(02)
UDAF 使用批量请求UDAF 使用多线程并发原创 2022-06-05 12:50:46 · 45366 阅读 · 1 评论 -
优化实战篇—用户画像亿级数据表关联(01)
用户画像亿级数据表关联这个项目的背景其实不是用户画像,但是我们需要和用户画像的表去关联,而且我们的关联逻辑有点复杂,大表需要关联多次项目背景我们做的是一个头部车企的互联网舆情项目,收集了公司内部各个系统的数据和外部互联网上的数据,主要就是用户的评论发帖,整个外部的数据源和内部的数据源加起来一共三十多个。收集到数据后对数据进行清洗规整,主要是拿到到用户的 系统ID(各个系统的)、手机号、身份证号码、车架号,等等一系列可以标识用户身份标识数据,以及用户的发帖、评论、问答、投诉、工单等用户情感数据进行分析原创 2022-05-10 23:04:57 · 47716 阅读 · 0 评论