数仓项目常用sql--大纲

最新推荐文章于 2024-04-27 10:35:49 发布
最新推荐文章于 2024-04-27 10:35:49 发布
阅读量1.2k 收藏
点赞数
分类专栏： BI开发 文章标签： sql big data hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/smileaway_/article/details/122380641
版权

数仓项目中常用sql

最近已经发了几个了，忘记发目录结构了....

一、背景

如今各个行业都已经开始了，基础数据的搭建，数仓是不可或缺的一个。因此，如何搭建数仓，如何写出一手漂亮的sql已经刻不容缓...

二、主要介绍的内容大纲

目前想到的就下面这些，之后持续更新吧…
在这里插入图片描述

Senfos.W
关注
专栏目录
NL2SQL技术方案系列(2)：全系列技术选型完整版：从通用技术选型(向量、图数据库)、大模型选择、Prompt工程、前沿技术方案展示
丨汀、的博客
04-23 1506
NL2SQL技术方案系列(2)：全系列技术选型完整版：从通用技术选型(向量、图数据库)、大模型选择、Prompt工程、前沿技术方案展示
数据仓库实战教程
热门推荐
02-16 5万+
以hadoop 作为基础生态，从0到进行数仓建设，主要分为基础篇和实战篇两部分，基础篇主要是各种组件的学习和案例，实战篇主要是三家企业的数仓设计案例，最后是扩展篇主要是实时数仓。
千亿数仓的sql
汉子一枚
04-28 2252
需求1 数据： 链接: https://pan.baidu.com/s/1M6xkkbZUSpXneaNX0d–Rg 提取码: unkt • 统计2019年期间每个季度的销售订单笔数、订单总额 select case When month(createTime) between 1 and 3 then ‘一季度’ When month(createTime) between 4 and 6...
数仓常见sql套路
m0_46449152的博客
03-12 614
1、新旧数据合并 create external table dwt_uv_topic ( `mid_id` string COMMENT '设备唯一标识', `user_id` string COMMENT '用户标识', `version_code` string COMMENT '程序版本号', `version_name` string COMMENT '程序版本名', `lang` string COMMENT '系统语言', `source` string COMMENT '渠道号', `os`
数仓开发需常用SQL分析函数
yang灬仔
11-29 529
基本语法 analytic_function_name([argument_list]) OVER( [PARTITIONBYpartition_expression,…] [ORDERBYsort_expression,…[ASC|DESC]]) analytic_function_name: 函数名称 — 比如RANK(),SUM(),FIRST()等等 partition_expression: 分区列 sort_expression: 排序列 ...
数仓sql小技巧（一）
Intelia的博客
07-06 309
避免ADS层小文件产生问题产生问题解决 问题产生 ads层由于本身的数据很少，一天只有几条或几十条，并且数据导出常常为全量导出。所以没有进行分区，，也没有才有压缩和列式存储。采用的数据装载语句也是insert into，而不是insert override。但这样就会带来一个在hdfs中非常严重的问题——小文件过多。ads层每插入一条数据，就会生成一个小文件，这样就会形成大量小文件。 问题解决 可以在每次导入数据时，把历史数据查出来，不用修改，再把今天的数据拿过来，两者union all。这样就不会产生小文
工作后才知道的SQL密技
yang灬仔
10-10 377
SQL是大数据从业者的必备技能，大部分的大数据技术框架也都提供了SQL的解决方案。可以说SQL是一种经久不衰、历久弥新的编程语言。尤其是在数仓领域，使用SQL更是家常便饭。本文会分享四个在面试和工作中常用的几个使用技巧，具体包括： 日期与期间的使用 临时表与Common Table Expression (WITH) Aggregation 与CASE WHEN的结合使用 Window Function的其他用途 数仓？不就是写写SQL吗… 第一：日期.
数仓SQL面试题（持续更新中...）
qq_32323239的博客
08-23 617
此种场景，一般先按照用户维度开窗，然后拿事件减去当前行的序号，就能将连续的数据得到相同的值，然后进行count：datediff(event_time, row_number over(partition by user_id order by event_time))。或者： row_number over(partition by 1 order by event_time) - row_number over(partition by user order by event_time)等。
数仓建设（离线和实时）
ashan
02-26 5223
文档大纲： 一、数仓基本概念 1. 数据仓库架构 我们在谈数仓之前，为了让大家有直观的认识，先来谈数仓架构，“架构”是什么？这个问题从来就没有一个准确的答案。这里我们引用一段话：在软件行业，一种被普遍接受的架构定义是指系统的一个或多个结构。结构中包括软件的构建（构建是指软件的设计与实现），构建的外部可以看到属性以及它们之间的相互关系。 这里参考此定义，把数据仓库架构理解成构成数据仓库的组件及其之间的关系，画出下面的数仓架构图： 数仓架构 上图中显示的整个数据仓库环境包括操作型系统和数据仓
数据仓库理论与实战(适用于从事数仓方向的小伙伴)
02-15
本专栏主要专注于数仓工具学习、数仓建模以及业务建模、SQL实战和平台建设，最后以3家公司的数仓建设和实时数仓作为结尾项目。本专栏有以下特点： 1. 知识体系完善，从数仓的概念、建模、数仓工具的使用、数仓的...
助力工业物联网，工业大数据项目之数据采集【四】_docker exec -it sqoop bash
最新发布
2401_84182824的博客
04-27 907
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jgRIa2kT-1673426702988)(Day2_数仓设计及数据采集.assets/image-20210822085238536.png)]：Uber模式下，程序只申请一个AM Container：所有Map Task和Reduce Task，均在这个Container中顺序执行。：MR程序运行在YARN上时，有一些轻量级的作业要频繁的申请资源再运行，性能比较差怎么办？：了解MR的Uber模式的配置及应用。
数仓分析需要了解的5大SQL分析函数
weixin_43777152的博客
11-26 711
基本语法 analytic_function_name([argument_list]) OVER ( [PARTITION BY partition_expression,…] [ORDER BY sort_expression, … [ASC|DESC]]) analytic_function_name: 函数名称 — 比如 RANK(), SUM(), FIRST()等等 partition_expression: 分区列 sort_expression: 排序列 案例 数据准备
电商数仓---(脚本模板+写的SQL规律+Sqoop导表模板)
Knight
07-29 472
目录SQL模板写SQL的规律导表模板 SQL模板 #!/bin/bash #！2.定义变量 #！3.获取时间 #！4.sql #！5.执行sql 声明 gmall是数据库名 看见时间加 $do_date 看见表名加${APP} 例子 #!/bin/bash #！2.定义变量 APP=gmall hive=/export/servers/hive/bin/hive #！3.获取时间 if [ -n "$1" ] ;then do_date=$1 else do_date=`date -d "-
hive数据仓库项目sql语句
Mr_Bright的博客
10-12 292
mysql -uroot -pok retail < /root/day01/retail_db.sql sqoop import --connect jdbc:mysql://hadoop001:3306/retail –username root --password ok –table orders --incremental append --check-column order_id –target-dir /data1/retail_db/orders --m 3; creat
数仓开发5大SQL分析函数
ytp552200ytp的博客
07-09 185
基本语法 analytic_function_name([argument_list]) OVER ( [PARTITION BY partition_expression,…] [ORDER BY sort_expression, … [ASC|DESC]]) analytic_function_name: 函数名称 — 比如RANK(),SUM(),FIRST()等等 partition_expression: 分区列 sort_expression: 排序列 案例 数据准备 C...
数仓SQL面试题(持续更新中！！！)
weixin_44786370的博客
07-03 2654
数仓SQL面试题(持续更新中！！！)
Hive数仓导入导出
大壮的博客
07-06 1463
Hive数仓导入导出，分隔符 ​首先看下导出吧，我们准备sql。那么首先我们看到，两张表给运营提供数据。另一方面，让我们看看hive的强大。 先看一下两张表数据量：  select count(dt) from d.d_safedata_base_day             数据量：10836008  select count(dt) from d.d
数据仓库【SQL优化】
xiayuhaisong的博客
02-01 1427
每个sqlboy工作一段时间后都会面临这一个能力提升问题--Sql优化。本文通过更通俗易懂的话术讲解sql优化的策略内容。提供一个从业务需求探查到最终上线全流程的sql优化方案，如有缺失，希望大家多多交流补充。
JAVA与SQL-Server图书管理系统设计与开发报告
本篇文档是关于《数据库原理与应用》课程设计的报告，主题是基于Java和SQL Server的图书管理系统设计与开发。这份报告由一名学生在20XX年11月30日至12月18日期间完成，针对的是计算机科学与工程专业的学生。设计任务...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值