- 博客(24)
- 资源 (11)
- 收藏
- 关注
原创 数据仓库增量数据抽取_按照分区批量删除数据
在数据仓库中,有时需要在增量抽取数据之前,先将按照时间分区的分区数据先删除,对于数据量比较大的分区,直接delete效率非常慢,因此可以考虑通过ALTER TABLE TABLE_NAME TRUNCATE TABLE PART_NAME的方式快速删除分区。
2023-11-16 09:06:45 184
原创 Oracle表间隔分区修改分区名称
Oracle数据表时间范围分区采用间隔分区方式,让数据库自动添加表分区,间隔分区的分区名称是以"SYS_"前缀+数字组合,存在问题是分区表分区名称有效识别,后期无法基于分区名称快速进行数据迁移和归档。因此,需要将数据库自动添加的分区名称进行重命名。
2023-11-15 11:32:18 242
原创 Oracle表中CLOB字段全文索引查询优化
数据表中需要对某个类型为CLOB的字段进行模糊匹配查询,查询效率一般不高,如果查询的目标表数据量非常大的话,那么查询效率就非常低。此时,可以考虑通过创建全文索引的方式来进行查询优化。
2023-11-14 15:57:48 1065
原创 数据仓库增量数据抽取_按照数据量批量提交数据
在Oracle数据库中,对于大表,大数据量的增量抽取一般抽取效率都是比较低,可以考虑使用批量提取游标,批量插入数据。从而减少PL/SQL引擎和SQL引擎之间的交互,提高数据抽取效率。源表:ODS_SOURCE_TABLE。目标表:DWD_TGT_TAB_D。
2023-11-14 14:44:12 109 1
原创 Oracle存储过程实现数仓事实表批量一键创建
excel梳理所要创建事实表的相关表结构信息,将整理的excel表信息导入数据库对应的配置表中,通过调用存储过程,一键批量自动创建相关事实表。
2023-11-14 13:52:05 148 1
原创 Oracle存储过程实现指标累计值计算
该案例通过存储过程实现数据仓库新增指标值、截止到当前日期累计指标值、截止到当月累计指标值、截止到当年累计指标值的计算。
2023-11-14 10:03:42 110 1
原创 Linux磁盘管理—逻辑卷管理
主要介绍Linux系统,磁盘管理逻辑卷相关管理命令,包括创建物理卷、创建卷组、创建逻辑卷;使用逻辑卷、扩展逻辑卷及删除LVM分区
2023-07-25 14:39:29 843
原创 Oracle中imp工具ignore参数如何控制表创建及数据导入
Oracle中imp工具导入数据,如何通过ignore参数控制表的创建以及数据导入
2022-08-17 11:21:20 1465 1
原创 Linux进程前台启动与后台启动详解
Linux进程前台启动及后台启动、解除进程与终端启动方法,包括“&”、“nohup”、“jobs”、“fg”、“bg”命令用法
2022-08-14 11:16:50 8880
原创 Linux中shell环境变量设置说明
Linux环境变量设置及Bash配置文件:profile类文件(/etc/profile、/etc/profile.d、~/.bash_profile),bashrc类文件(/etc/bashrc、~/.basbrc)如何执行及作用域进行说明
2022-08-13 13:02:47 3552
原创 Oracle表查询优化思路
分页查询、DBLINK查询、超大表与超小表关联查询、表进行ROWID切片查询、固化查询/*+MATERIALIZE*/查询等优化思路
2022-08-13 12:03:52 4616
原创 Oracle表连接优化思路
Oracle表嵌套查询、哈希连接、排序合并连接、笛卡尔连接、标量子查询、半连接、反半连接、FILTER、IN与EXISTS优化思路
2022-08-13 11:44:58 3433 1
工作流调度平台DolphinScheduler简介及使用详解
2023-12-20
NiFi实时离线数据采集工具
2023-11-16
Streamsets Data Collector管道详细配置文档(组件、事件、函数表达式、记录头属性)
2022-03-31
流批一体Streamsets Data Collector(SDC)管道Oracle CDC实时同步配置文档
2022-03-30
GoldenGate Logdump分析工具
2018-01-15
Oracle_GoldenGate_在_Microsoft_SQL_Server_和_Oracle_Database_之间复制事务
2018-01-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人