自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(38)
  • 收藏
  • 关注

原创 HIVE大数据平台SQL优化分享

此文章是大数据平台运维组从多维度参数(CPU,内存,运行时长等)筛选出TOP任务,联合数据开发人员进行优化,最终出具优化方案优化跑批作业的业务逻辑,SQL逻辑等,并跟进方案落地和报告整理。

2024-05-11 09:37:40 613 2

原创 数仓架构之为什么要进行数仓分层

数仓分层这个概念想必大家都很熟悉,不管是在实际的开发工作当中会用的,还是在面试官面试你的时候会问到:你之前的项目是按照什么分层的,分哪几层,数仓分层有什么好处,举个栗子说说。简而言之,数仓分层,是大家不能避过去的一个重点知识。

2024-05-10 09:00:00 1005

原创 hive复杂数据类型之 map映射

好了,今天的map映射介绍就分享到这里,已经给大家讲的非常详细了,大家在实际的工作中可能不太能用得上,但是作为一个优秀的程序员,很多东西你可以不用,不掌握,但是你不能不知道有这么一个东西!!知道才是王道,万一在代码开发中需要用呢???你可以想起这篇文章。欢迎一键三连,您的鼓励是我创作的动力。

2024-05-08 09:00:00 1747 1

原创 hive 之函数分类(面试必会加分项)

hive 之函数分类(面试必会加分项)

2024-04-28 09:08:12 1328 2

原创 主流大数据调度工具DolphinScheduler之数据采集

主流大数据调度工具DolphinScheduler之数据采集

2024-07-18 08:45:00 288

原创 ETL数据同步之DataX,附赠一套DataX通用模板

ETL数据同步之DataX,附赠一套DataX通用模板

2024-07-17 08:45:00 549

原创 主流大数据调度工具DolphinScheduler之数据ETL流程

主流大数据调度工具DolphinScheduler之数据ETL流程

2024-07-16 08:45:00 1351

原创 某基金大公司大数据项目之代码评审---SQL优化

某基金大公司大数据项目之代码评审---SQL优化

2024-07-11 08:45:00 279 1

原创 大厂面试经典高阶SQL题--次日留存率

大厂面试经典高阶SQL题--次日留存率

2024-07-02 08:45:00 534

原创 hive优化之逻辑类似or逻辑重复

hive优化之逻辑类似重复

2024-06-21 08:45:00 398

原创 表字段如何设计,如何打标签,如何进行维度分组,关于优先级排序如何处理(大数据开发)

表字段如何设计,如何打标签,如何进行维度分组,关于优先级排序如何处理(大数据开发)

2024-06-12 09:45:00 610

原创 银行数据迁移项目,init(初始化)脚本怎么开发(实战)

系统迁移项目,init(初始化)脚本怎么开发

2024-06-11 08:45:00 1061

原创 字段新增,千万别按照业务的要求开发(大数据开发之普通迭代项目)

后期需求开发,对于新增指标字段,应该如何应对

2024-06-07 08:45:00 1108

原创 项目开发中,临时表的两种写法

create table / with ... as

2024-06-04 08:45:00 422

原创 Hive之聚合类开窗函数 + 滑动求和

Hive之聚合类开窗函数 + 滑动求和

2024-06-03 08:45:00 1524

原创 大数据测试/ETL开发,如何造测试数据

大数据测试/ETL开发,如何造测试数据

2024-05-31 08:50:42 506

原创 Hive SQL之列转行( Max/Sum+Case when/If )系列

Hive SQL之列转行( Max+Case when )

2024-05-30 07:15:48 1147

原创 Hive复杂数据类型之 Struct结构体

Hive复杂数据类型之 struct结构体

2024-05-29 09:15:00 1203

原创 基金/证券项目如何进行非交易日数据补全(实战)

基金/证券项目如何进行非交易日数据补全(实战)

2024-05-25 09:05:25 706

原创 XXX银行需求文档转应用层Mapping

大数据开发之xxx银行需求文档转应用层Mapping

2024-05-21 09:15:00 632

原创 SparkSQL开发调优思路及相关实践

SparkSQL开发调优思路及相关实践

2024-05-20 09:15:00 530

原创 HIVE之JSON字符串与(array数组,map映射,struct结构体)

HIVE之JSON字符串与(array数组,map映射,struct结构体)

2024-05-19 09:20:32 792

原创 Hive函数大全

Hive函数大全(你不得不知道的hive函数,很齐全)

2024-05-19 09:00:00 159

原创 Hive-分区表(动态分区,静态分区)

Hive-分区表(动态分区,静态分区)

2024-05-18 09:00:00 577

原创 XXX银行大数据基础平台架构情况

XXX银行大数据基础平台架构情况

2024-05-17 07:24:29 387

原创 数仓建模理论 之 维度建模

维度建模,你不得不知道以下几个概念:事实表、维度表、星型模型、雪花模型、星座模型

2024-05-16 09:30:00 1684

原创 hive_hql开发规范(SQL优化)

hive_hql开发规范(sql优化)

2024-05-15 09:30:00 1107

原创 数仓架构之 基础数据层的数据加载算法

数仓之 基础层的数据加载算法

2024-05-13 09:21:18 1142 1

原创 大数据之 Hadoop概述

大数据之 Hadoop概述

2024-05-12 09:09:37 374 2

原创 大数据之hadoop之 Hue_Hive简介 + Impala简介

相信很多小伙伴都用过Hue小工具,一款很常见还不错的开发工具。Hue包括了hive查询,impala查询,Hbase查询等。

2024-05-07 20:36:26 337 1

原创 大厂面试高阶SQL题之 开窗+聚合+行列转换(函数)

大厂面试高阶SQL题之 开窗+聚合+行列转换(函数)

2024-05-01 11:24:41 1617 3

原创 GaussDB之 SQL子查询优化

GaussDB(DWS) SQL子查询优化

2024-04-30 21:49:08 400

原创 数仓建模理论 之 ER实体模型

数仓建模基本理论之ER实体模型

2024-04-29 09:00:00 596

原创 大数据 建模理论 之 三范式(详解)

大数据 建模理论 之 三范式(详解)

2024-04-27 13:27:51 901 2

原创 hive 之 insert into 和 insert overwrite 的区别和用法(实战)

hive 之 insert into 和 insert overwrite 的区别和用法

2024-04-26 08:10:44 2027 2

原创 hive 之 UDTF 之 explode 函数 和 lateral view 侧视图(原理)

hive 之 UDTF 之 explode 函数 和 lateral view 侧视图(原理)

2024-04-25 09:10:17 1031

原创 Hive复杂数据类型之array数组

懂底层原理,懂来龙去脉,你才是真的懂。

2024-04-24 13:14:07 641 3

原创 lateral view explode (split(column,‘exp’)) 爆炸函数

lateral view explode (split(column,‘exp’))实现业务指标

2024-04-23 14:54:41 757

2024大数据生态常用技术

讲述了大数据的背景,什么是大数据,以及大数据生态额组件,及其作用原理。

2024-06-06

2024大数据生态技术介绍

介绍各种大数据的生态应用及其原理,可以更加全面的理解大数据生态。

2024-06-06

002数仓建模理论知识

002数仓建模理论知识 三范式建模理论; ER实体模型: 在信息系统中,将事物抽象为“实体”、“属性”、“关系”来表示数据关联和事物描述; 说起维度建模,你不得不知道以下几个概念:事实表、维度表、星型模型、雪花模型、星座模型

2024-05-20

Git基本使用示例(git原理)

Git介绍,Git与SVN的区别,基本命令操作(初始化仓库,提交与修改,提交日志,远程操作),git常用命令速查,配置gitlab账号的SSH。

2024-05-15

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除