【数据库】时间范围按月自动分区表创建demo

最新推荐文章于 2025-10-13 17:49:37 发布
原创 最新推荐文章于 2025-10-13 17:49:37 发布 · 959 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍如何在Oracle数据库中创建按月自动分区的表。通过使用区间范围分区，可以提高大规模数据的管理效率和查询性能。示例展示了具体SQL语句及注意事项。

--时间范围按月自动分区表创建demo
create table HIP_LOG_NODE_Part
(
    ID                   VARCHAR2(32)         not null,
    LOG_ID               VARCHAR2(32),
    BUSINESS_ID          VARCHAR2(36),
    NODE_ID              VARCHAR2(32),
    NODE_NAME            VARCHAR2(80),
    STATE                VARCHAR2(2),
    STATE_CLASS          VARCHAR2(2),
    TIME_CONSUMING       NUMBER,
    INPUT_MSG            CLOB,
    OUTPUT_MSG           CLOB,
    ERROR_CODE           VARCHAR2(12),
    ERROR_NAME           VARCHAR2(300),
    ERROR_INFO           CLOB,
    RECORD_TIME          DATE,
    VERTEX_ID            VARCHAR2(32)
) tablespace LOG03_TBS --表空间

PARTITION BY RANGE (RECORD_TIME) interval (numtoyminterval(1, 'month'))
(
   partition hip_log_node_partition values less than (to_date('2019-08-01 00:00','yyyy-MM-dd HH24:mi')) tablespace LOG03_TBS
);

注意：
1.表级别与分区级别均需要指定表空间
2.指定一个默认分区给最小的时间范围（不存储数据）

数据库领域数据仓库的分区表设计与应用
2502_91592937的博客
05-11 866
在数据仓库领域，随着数据量的不断增长，传统的表结构在数据管理和查询性能方面面临诸多挑战。分区表作为一种有效的数据组织方式，能够显著提升数据处理的效率。本文的目的在于全面介绍数据仓库中分区表的设计原则、核心算法、实际应用场景等内容。范围涵盖了从基础概念到高级应用的各个方面，旨在帮助读者深入理解分区表并能够在实际项目中进行合理的设计和应用。本文将按照以下结构展开：首先介绍分区表的核心概念和联系，包括原理和架构；接着阐述核心算法原理和具体操作步骤，并用 Python 代码进行详细说明；
ClickHouse 创建数据库/建表/视图/字典 SQL
热门推荐
AI天才研究院
04-02 3万+
1.1. ClickHouseSQL之数据定义语言 DDL本节介绍 ClickHouse 中进行数据库、表结构的定义和管理。1.1.1.概述在SQL中，数据定义语言( DDL ) 用来创建和修改数据库Schema，例如表、索引和用户等。其中数据库的Schema描述了用户数据模型、字段和数据类型。DDL 语句类似于用于定义数据结构的计算机编程语言。常见DDL 语句包括...
数据库根据当前时间分区
weixin_30337251的博客
05-04 380
-- 创建数据表CREATE TABLE `tb_user_bhavior_log` ( `ID` bigint(20) unsigned NOT NULL AUTO_INCREMENT, `USER_ID` int(10) DEFAULT NULL, `SESSION_ID` varchar(128) DEFAULT NULL, `CREATE_TIME` datetime DEFAUL...
mysql数据库分区-根据时间分区
c_universe的博客
08-23 8126
一、数据库分区 -- 创建表 CREATE TABLE test_log ( time datetime, msg VARCHAR ( 2000 ) -- id INT NOT NULL AUTO_INCREMENT, -- PRIMARY KEY (id) ) -- 创建分区 alter table test_log partition by range columns(time)( -- 在日期之前创建分区 partition p20210801 values less than('202
达梦数据库创建根据日期按月自动分区表
weixin_43931108的博客
05-22 2668
达梦数据交换平台(简称DMETL)是在总结了众多大数据项目经验和需求并结合最新大数据发展趋势和技术的基础上，自主研发的通用的大数据处理与集成平台。DMETL创新地将传统的ETL工具（Extract、Transform、Loading)与分布式大数据处理平台相结合，实现了对数据同步、数据处理以及数据共享交换的一站式支持，大幅度降低了用户使用各种hadoop以及flink进行大数据整合处理的技术门槛，是构建数据同步、数据交换、数据仓库以及数据中心等数据集成类应用的理想平台。
时间范围分区自动新建
weixin_30384217的博客
04-11 133
前段时间做了个分区功能，表结构如下： -- Create table create table SUM_DUTY ( oid VARCHAR2(36) default sys_guid() not null, entry_id VARCHAR2(18) not null, manual_no VARCHAR2(12), p_date ...
自动为分区表增加分区存储过程
俊哥
01-14 1091
自动为分区表增加分区存储过程：   Sql代码   create or replace procedure guan_add_partition   /*   /*为一个用户下所有分区表自动增加分区.分区的列为date类型,分区名类似:p200706.   /*create by David   */   as   v_table_name varchar2(50);   v_
【MPP数据库】TiDB表分区探索与实践
Coinker的博客
02-01 2784
TiDB 分区探索与实践
数据库表分区与分布策略详解
本文将详细介绍几种常见的表分区方式，包括轮询分区、哈希分区、范围分区、多级分区等，以及分区剪枝、重新分区、共置分区和表副本等相关概念。 #### 1. 轮询分区（Round - Robin Partitioning） 轮询分区是一种...
初识达梦数据库:达梦数据库对象创建与配置指南
最新发布
weixin_39495005的博客
10-13 488
达梦数据库 自研 国产数据库 国产数据库生态发展
MSSQLServer数据库大量数据按月份分表、存储过程指定时间段跨表分页查询
01-25
资源里包含SQL文档：创建数据库和存储过程.sql 生成数据.sql 测试.sql 比较完善的大量数据分表功能代码，包含创建数据库、生成数据、测试结果。适合初学分表者使用。 数据按照每个月创建一个数据表，通过存储过程输入参数，按照指定日期跨表查询数据，并且可以分页查询。
quartz 实现按天、按周、按月定时任务的简单demo
11-28
java + quartz 实现定时任务的简单任务，下载即可运行
已有数据的时间分区表创建
FeinChen的博客
12-11 608
对已有数据量大的表（如日志表）创建表分区 step1： 备份原有表 alter table log_user rename to log_user_bak; step2： 创建时间分区表（与原表相同的表结构） create table log_user PARTITION BY RANGE (CREATE_TIME) INTERVAL (numtoyminterval(1, 'month')) (partition part_t1 values less than(to_date('2018-11-01'
华为高斯根据时间对表做分区（每隔一月）
2401_83638850的博客
06-24 1519
PARTITION BY RANGE (DATA_CREATE_TIME) INTERVAL (numtoyminterval(1, 'month')) (partition part_t01 values less than(to_date('2024-01-01', 'yyyy-mm-dd')));
高斯分区的理解
weixin_44940214的博客
11-13 561
高斯数据库分区
MPP（高斯DB）常用语句（不定时更新添加）
承缘丶
07-08 1万+
更新时间202504。
GaussDB数据库基础函数介绍-上
Gauss松鼠会
05-04 1万+
-timestamp类型：abstime、date、interval、reltime、time with time zone、time without time zone、timestamp with time zone、timestamp without time zone。--可选参数fmt可以为以下几类：十进制字符、“分组”符、正负号和货币符号，每类都可以有不同的模板，模板之间可以合理组合，常见的模板有：9、0、,（千分隔符）、.（小数点）。--描述：将两个参数相减，并以年、月、日作为返回值。
高斯数据库集锦
实践求真知
03-23 1万+
一高斯数据库分区表PARTITION BY RANGE的用法 https://www.jaagool.com/article/1570672150497?p=1 二高斯数据库支持Range分区、List分区、Hash分区、Interval分区 https://www.modb.pro/db/7131 三高斯数据库基本操作 1创建分区语法。 2注意合并结果集和差异结果集的用法。...
分区表及分区索引(2)--创建range分区
数据库之扑朔迷离
11-02 1384
①　创建一个标准的range分区表： SQL> create table t_range_part (id number(10),name varchar2(10))   2  partition by range(id)(   3  partition t_range_1 values less than (10)tablespace users,   4  partition
数据库分布健和分区键如何选择
03-27
<think>嗯，用户现在问的是Greenplum数据库中分布键和分区键的选择方法。之前他们问过性能测试方案，可能是在实际测试中遇到了性能问题，或者是想优化现有数据库结构。用户可能是数据库管理员或者开发人员，负责维护和优化Greenplum集群。 首先，我需要回顾一下Greenplum的基本架构。Greenplum是一个基于MPP（大规模并行处理）的数据库，数据分布在多个Segment节点上。分布键决定了数据行如何分布到不同的Segment，而分区键则是将表数据分成多个部分，类似于传统数据库的分区。 用户的问题集中在如何选择这两个键，所以需要分别解释分布键和分区键的作用，以及选择时的考虑因素。可能用户对这两者的区别和各自的适用场景不太清楚，需要明确区分。 分布键的选择至关重要，因为它影响数据分布的均匀性和查询性能。如果分布键选得不好，可能导致数据倾斜，某些Segment负载过高，影响整体性能。而分区键则更多用于数据管理，比如按时间分区方便删除旧数据，或者提高查询效率，特别是范围查询时。 需要从分布键的选择原则开始。应该选择高基数的列，确保数据均匀分布。例如，像用户ID这样的列，因为唯一值多，分布均匀。避免选择低基数的列，如性别，这样会导致数据分布不均。还要考虑查询的连接条件，如果经常需要与其他表连接，分布键应选择连接键，这样本地连接避免数据重分布。 接下来是分区键的选择。通常按时间范围，如订单日期，或者按类别分区。分区不宜过多，否则管理开销大。每个分区的数据量要合适，不能太小，否则元数据过多。还要考虑查询模式，经常按某列筛选时，分区键选该列。 还要注意两者的区别，分布键影响数据在节点间的分布，分区键影响数据在节点内的存储结构。两者可以结合使用，比如先按时间分区，再按用户ID分布。 用户可能在实际操作中遇到了数据倾斜或查询性能问题，需要根据这些场景给出具体建议。比如数据倾斜时如何检测和处理，分区过多时如何合并等。 需要确保回答结构清晰，分点说明，举例帮助理解。可能还需要提醒常见的误区，比如误用分区导致性能下降，或者分布键选择不当引起网络传输压力大。 最后，总结选择分布键和分区键的关键点，帮助用户形成系统的选择策略。可能还需要推荐一些工具或命令，如使用gp_toolkit检测数据倾斜，或者分析查询计划来优化选择。</think>以下是Greenplum数据库中分布键（Distribution Key）与分区键（Partition Key）的选择策略和技术要点，通过对比分析帮助理解两者的差异与协同作用： --- ### **一、核心概念对比** | 特性 | 分布键（Distribution Key） | 分区键（Partition Key） | |--------------------|--------------------------------------|-----------------------------------| | **作用层级** | 跨Segment节点的物理数据分布 | 单节点内的逻辑数据划分 | | **主要目标** | 负载均衡与并行计算效率 | 数据管理与查询优化 | | **数据移动触发** | 数据写入时决定存储位置 | 查询时通过分区裁剪过滤数据 | | **典型应用场景** | JOIN操作本地化、GROUP BY聚合效率 | 时间序列数据归档、范围查询优化 | --- ### **二、分布键选择策略** #### **1. 基本原则** $$数据倾斜率 = \frac{最大Segment数据量 - 最小Segment数据量}{平均数据量} \times 100\%$$ - **目标**：控制倾斜率 < 10% - **推荐选择**： - **高基数字段**：如用户ID、订单号（唯一值数量多） - **JOIN关联键**：若多表频繁JOIN，选择相同分布键避免数据重分布（Shuffle） - **复合键组合**：当单列无法满足均匀分布时，例如`(user_id, timestamp)` #### **2. 风险规避** ```sql -- 检查数据倾斜 SELECT gp_segment_id, count(*) FROM table_name GROUP BY 1 ORDER BY 2 DESC; -- 错误案例：选择性别字段作为分布键 CREATE TABLE bad_demo ( id INT, gender CHAR(1) ) DISTRIBUTED BY (gender); -- 导致严重数据倾斜（仅2-3个唯一值） ``` #### **3. 高级技巧** - **随机分布**：对无明显分布特征的表使用`DISTRIBUTED RANDOMLY` - **哈希优化**：通过`DISTRIBUTED BY (HASH(column))`显式声明哈希分布 --- ### **三、分区键选择策略** #### **1. 设计准则** $$最优分区数 = \frac{总数据量}{单分区建议大小（推荐10-50GB）}$$ - **推荐选择**： - **时间字段**：如`event_time`（按天/月分区，便于数据滚动删除） - **枚举类型**：如地区代码、产品类别 - **范围查询字段**：常用于WHERE条件筛选的列 #### **2. 分区类型选择** | 分区类型 | 适用场景 | 示例 | |----------------|-----------------------------------|------------------------------------------| | 范围分区 | 时间序列、数值连续型数据 | `PARTITION BY RANGE (sale_date)` | | 列表分区 | 离散值分类管理 | `PARTITION BY LIST (region)` | | 多级分区 | 混合时间与业务维度 | 先按年分区，再按产品类别子分区 | #### **3. 分区维护示例** ```sql -- 自动创建未来分区（Greenplum 7+） CREATE TABLE sales (...) PARTITION BY RANGE (sale_date) (PARTITION p2023 START ('2023-01-01') END ('2024-01-01')); -- 动态删除旧分区 ALTER TABLE sales DROP PARTITION FOR (RANK(1)); ``` --- ### **四、协同使用场景** #### **典型组合方案** ```sql CREATE TABLE user_behavior ( user_id BIGINT, event_time TIMESTAMP, action_type VARCHAR(20) ) DISTRIBUTED BY (user_id) -- 确保用户行为数据分布在相同Segment PARTITION BY RANGE (event_time) -- 按时间管理数据生命周期 WITH (appendoptimized=true); -- 启用列式存储 ``` **优势**： - JOIN用户维度表时无需数据移动 - 快速清理过期分区（如删除3个月前数据） - AO列存提升分析查询效率 --- ### **五、常见错误与解决方案** | 问题现象 | 根本原因 | 修复方案 | |------------------------------|----------------------------|----------------------------------------| | 查询时出现`Redistribute Motion` | 分布键与JOIN键不匹配 | 对齐关联表的分布键 | | 分区扫描全表 | 未在查询条件中使用分区键 | 优化查询语句，添加分区键过滤条件 | | VACUUM执行缓慢 | 分区数量过多（>1000） | 合并相邻分区或改用更大时间粒度 | --- ### **六、验证工具集** 1. **执行计划分析** ```sql EXPLAIN ANALYZE SELECT * FROM table WHERE partition_key = 'value'; -- 检查是否显示"Partitions Selected: 1 of 100"（理想状态） ``` 2. **系统表监控** ```sql SELECT * FROM gp_toolkit.gp_skew_details WHERE skchemaname = 'public' AND skrelname = 'table_name'; -- 查看数据分布倾斜情况 ``` --- ### **七、决策流程图** ```mermaid graph TD A[新建表] --> B{是否需要跨节点并行计算?} B -->|是| C[选择高基数分布键] B -->|否| D[使用随机分布] C --> E{是否有时间序列特征?} E -->|是| F[添加时间范围分区] E -->|否| G[评估是否需要列表分区] F --> H[验证分区裁剪效果] H --> I[最终建表] ``` 通过合理选择分布键与分区键，可显著提升Greenplum的查询性能和运维效率。建议在数据建模阶段结合业务查询模式进行联合设计，并通过实际负载测试验证方案有效性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值