使用mysql 存储过 对日志表按照天分区

原创 2016年08月28日 22:22:12


完整的存储过程如下:  时间格式如: 16060122   代表 2016年6月1日22点



先查看分区 :

  SELECT
  partition_name part, 
  partition_expression expr, 
  partition_description descr, 
  table_rows 
FROM
  INFORMATION_SCHEMA.partitions 
WHERE
  TABLE_SCHEMA = schema() 
  AND TABLE_NAME='factweblog'; 






CREATE DEFINER=`ETL002`@`localhost` PROCEDURE `partition_by_date`()
BEGIN
 declare currentYear INT   DEFAULT 16;
     DECLARE next_year INT DEFAULT 17;
     DECLARE janunary_max_day VARCHAR(32) DEFAULT '01-31';
     DECLARE march_max_day VARCHAR(32)  DEFAULT '03-31';
     DECLARE may_max_day VARCHAR(32) DEFAULT '05-31';
     DECLARE july_max_day VARCHAR(32) DEFAULT '07-31';
     DECLARE aug_max_day VARCHAR(32)  DEFAULT '08-31';
     DECLARE october_max_day VARCHAR(32) DEFAULT '10-31';
     DECLARE decem_max_day VARCHAR(32) DEFAULT '12-31';
     DECLARE april_max_day VARCHAR(32) DEFAULT '04-30';
     DECLARE june_max_day VARCHAR(32) DEFAULT '06-30';
     DECLARE novem_max_day VARCHAR(32) DEFAULT '11-30';
     DECLARE septem_max_day VARCHAR(32) DEFAULT '09-30';
     DECLARE febru_max_day VARCHAR(32) DEFAULT '02-22';
     DECLARE temp_month VARCHAR(32);
     DECLARE temp_day VARCHAR(32);
     DECLARE the_max_day_in_month int;
     DECLARE temp_strDate VARCHAR(32);a
DECLARE temp_strDate_2 VARCHAR(32);
 DECLARE temp_strDate_3 VARCHAR(32);
     DECLARE temp_partition blob;  


      
     DECLARE i int;
     DECLARE j int;
     #i 代表月份,j代表日期,i=6设置起始月份
     set i=6;
     set j=1;
   
     set febru_max_day=LAST_DAY(STR_TO_DATE(CONCAT(currentYear,'-',febru_max_day),'%Y-%m-%d %H:%i:%s'));#SET FEBRUARY LAST DAY
     set currentYear=YEAR(CURDATE());# GET CURRENT YEAR
       
 set currentYear=right(currentYear,2);
 set next_year=currentYear+1;


     set temp_partition=CONCAT('','ALTER TABLE factweblog PARTITION BY RANGE(StartTimeId) (');
 
     while(i<=12)do
         if i>9 THEN
          set temp_month=CONCAT('',i);
         else 
          set temp_month=CONCAT('0',i);
         end if;
                 if (temp_month = MONTH(CONCAT(currentYear,'-',janunary_max_day)) OR temp_month = MONTH(CONCAT(currentYear,'-',march_max_day)) OR temp_month = MONTH(CONCAT(currentYear,'-',may_max_day)) OR temp_month = MONTH(CONCAT(currentYear,'-',july_max_day)) OR temp_month = MONTH(CONCAT(currentYear,'-',aug_max_day)) OR temp_month = MONTH(CONCAT(currentYear,'-',october_max_day)) OR temp_month = MONTH(CONCAT(currentYear,'-',decem_max_day)))THEN
             set the_max_day_in_month = 31;
         elseif (temp_month = MONTH(CONCAT(currentYear,'-',april_max_day)) OR temp_month = MONTH(CONCAT(currentYear,'-',june_max_day)) OR temp_month = MONTH(CONCAT(currentYear,'-',septem_max_day)) OR temp_month = MONTH(CONCAT(currentYear,'-',novem_max_day)))THEN
              set the_max_day_in_month = 30;
         else
              set the_max_day_in_month = DAY(febru_max_day);
         end if;
         set j=1;
         while(j<=the_max_day_in_month)DO


              if j>9 THEN
                              set temp_day=CONCAT('',j);
              else 
                set temp_day=CONCAT('0',j);
              end if;
              set temp_strDate=CONCAT(currentYear,temp_month,temp_day,'00');  
  set temp_strDate_2=date_sub(CONCAT('20',currentYear,'-',temp_month,'-',temp_day),interval -1 day);
  set temp_strDate_3=concat(substring(replace(temp_strDate_2,'-',''),3,6),'00');
  
                            set temp_partition=CONCAT(temp_partition,'PARTITION p',currentYear,'',temp_month,'',temp_day,' VALUES LESS THAN(',temp_strDate_3,'),');
              SET j=j+1;
         end while; 
 
         set i=i+1;
     end while;
     set temp_strDate=CONCAT(next_year,'01','02','00');
     set temp_partition=CONCAT(temp_partition,'PARTITION p',next_year,'0101',' VALUES LESS THAN(',temp_strDate,'),');
     set temp_partition=CONCAT(temp_partition,'PARTITION theMaxPartition VALUES LESS THAN MAXVALUE');
     set temp_partition=CONCAT(temp_partition,');');
     SELECT temp_partition;
      SET @sql1=temp_partition;
     PREPARE sql2 FROM @sql1;
     EXECUTE sql2;
     DEALLOCATE PREPARE sql2;
end

完整的存储过程如下:  时间格式如: 16060122   代表 2016年6月1日22点



先查看分区 :

  SELECT
  partition_name part, 
  partition_expression expr, 
  partition_description descr, 
  table_rows 
FROM
  INFORMATION_SCHEMA.partitions 
WHERE
  TABLE_SCHEMA = schema() 
  AND TABLE_NAME='factweblog'; 






CREATE DEFINER=`ETL002`@`localhost` PROCEDURE `partition_by_date`()
BEGIN
 declare currentYear INT   DEFAULT 16;
     DECLARE next_year INT DEFAULT 17;
     DECLARE janunary_max_day VARCHAR(32) DEFAULT '01-31';
     DECLARE march_max_day VARCHAR(32)  DEFAULT '03-31';
     DECLARE may_max_day VARCHAR(32) DEFAULT '05-31';
     DECLARE july_max_day VARCHAR(32) DEFAULT '07-31';
     DECLARE aug_max_day VARCHAR(32)  DEFAULT '08-31';
     DECLARE october_max_day VARCHAR(32) DEFAULT '10-31';
     DECLARE decem_max_day VARCHAR(32) DEFAULT '12-31';
     DECLARE april_max_day VARCHAR(32) DEFAULT '04-30';
     DECLARE june_max_day VARCHAR(32) DEFAULT '06-30';
     DECLARE novem_max_day VARCHAR(32) DEFAULT '11-30';
     DECLARE septem_max_day VARCHAR(32) DEFAULT '09-30';
     DECLARE febru_max_day VARCHAR(32) DEFAULT '02-22';
     DECLARE temp_month VARCHAR(32);
     DECLARE temp_day VARCHAR(32);
     DECLARE the_max_day_in_month int;
     DECLARE temp_strDate VARCHAR(32);a
DECLARE temp_strDate_2 VARCHAR(32);
 DECLARE temp_strDate_3 VARCHAR(32);
     DECLARE temp_partition blob;  


      
     DECLARE i int;
     DECLARE j int;
     #i 代表月份,j代表日期,i=6设置起始月份
     set i=6;
     set j=1;
   
     set febru_max_day=LAST_DAY(STR_TO_DATE(CONCAT(currentYear,'-',febru_max_day),'%Y-%m-%d %H:%i:%s'));#SET FEBRUARY LAST DAY
     set currentYear=YEAR(CURDATE());# GET CURRENT YEAR
       
 set currentYear=right(currentYear,2);
 set next_year=currentYear+1;


     set temp_partition=CONCAT('','ALTER TABLE factweblog PARTITION BY RANGE(StartTimeId) (');
 
     while(i<=12)do
         if i>9 THEN
          set temp_month=CONCAT('',i);
         else 
          set temp_month=CONCAT('0',i);
         end if;
                 if (temp_month = MONTH(CONCAT(currentYear,'-',janunary_max_day)) OR temp_month = MONTH(CONCAT(currentYear,'-',march_max_day)) OR temp_month = MONTH(CONCAT(currentYear,'-',may_max_day)) OR temp_month = MONTH(CONCAT(currentYear,'-',july_max_day)) OR temp_month = MONTH(CONCAT(currentYear,'-',aug_max_day)) OR temp_month = MONTH(CONCAT(currentYear,'-',october_max_day)) OR temp_month = MONTH(CONCAT(currentYear,'-',decem_max_day)))THEN
             set the_max_day_in_month = 31;
         elseif (temp_month = MONTH(CONCAT(currentYear,'-',april_max_day)) OR temp_month = MONTH(CONCAT(currentYear,'-',june_max_day)) OR temp_month = MONTH(CONCAT(currentYear,'-',septem_max_day)) OR temp_month = MONTH(CONCAT(currentYear,'-',novem_max_day)))THEN
              set the_max_day_in_month = 30;
         else
              set the_max_day_in_month = DAY(febru_max_day);
         end if;
         set j=1;
         while(j<=the_max_day_in_month)DO


              if j>9 THEN
                              set temp_day=CONCAT('',j);
              else 
                set temp_day=CONCAT('0',j);
              end if;
              set temp_strDate=CONCAT(currentYear,temp_month,temp_day,'00');  
  set temp_strDate_2=date_sub(CONCAT('20',currentYear,'-',temp_month,'-',temp_day),interval -1 day);
  set temp_strDate_3=concat(substring(replace(temp_strDate_2,'-',''),3,6),'00');
  
                            set temp_partition=CONCAT(temp_partition,'PARTITION p',currentYear,'',temp_month,'',temp_day,' VALUES LESS THAN(',temp_strDate_3,'),');
              SET j=j+1;
         end while; 
 
         set i=i+1;
     end while;
     set temp_strDate=CONCAT(next_year,'01','02','00');
     set temp_partition=CONCAT(temp_partition,'PARTITION p',next_year,'0101',' VALUES LESS THAN(',temp_strDate,'),');
     set temp_partition=CONCAT(temp_partition,'PARTITION theMaxPartition VALUES LESS THAN MAXVALUE');
     set temp_partition=CONCAT(temp_partition,');');
     SELECT temp_partition;
      SET @sql1=temp_partition;
     PREPARE sql2 FROM @sql1;
     EXECUTE sql2;
     DEALLOCATE PREPARE sql2;
end

版权声明:本文为博主原创文章,未经博主允许不得转载。

Flume 抓取日志文件存入MySQL中

代码如下:/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor licens...

MYSQL启用日志,和查看日志

mysql有以下几种日志:      错误日志:     -log-err      查询日志:     -log      慢查询日志:   -log-slow-queries      更...

MYSQL(分表)千万级数据量的优化方法积累

转载http://blog.sina.com.cn/s/blog_85ead02a0101csci.html 1、分库分表 很明显,一个主表(也就是很重要的表,例如用户表)无限制的增长势必严重影响...

mysql重启 日志存放

MySQL安装完成后不象SQL Server默认安装在一个目录,它的数据库文件、配置文件和命令文件分别在不同的目录,了解这些目录非常重要,尤其对于Linux的初学者,因为 Linux本身的目录结构就比...

mysql存储过程按月创建表分区 方式一

mysql存储过程创建表分区(一) 关于分区表,表分区 请看:http://www.cnblogs.com/freeton/p/4265228.html 关于定时任务 请看:http://www....
  • aofavx
  • aofavx
  • 2015年12月22日 10:47
  • 5615

使用mysql存储过程写的按天进行表分区

DROP PROCEDURE IF EXISTS createTablePartition; CREATE PROCEDURE createTablePartition() BEGIN     ...
  • gm_163
  • gm_163
  • 2013年09月03日 14:56
  • 1209

MYSQL之表分区----按日期分区

错误的按日期分区例子 最直观的方法,就是直接用年月日这种日期格式来进行常规的分区: PLAIN TEXT CODE: mysql> create table rms (d date) -> ...

mysql 按日期分区

 1、建立分区表 CREATE TABLE sale_data ( sale_date  DATETIME NOT NULL, ale_item  VARCHAR(2) NOT NULL,...
  • wsxqaz
  • wsxqaz
  • 2015年04月27日 17:25
  • 3864

mysql按时间分区插入数据

//给表添加按时间分区功能(添加之前必须给分区的字段加上主键) ALTER TABLE `records` PARTITION BY RANGE((YEAR(`visit_time`)*100+MO...

索引,索引的优缺点,普通索引,唯一索引,主键索引,联合主键,复合主键---数据库中的几个概念的理解。

索引概念的理解 索引是对数据库表中一个或多个列(例如,employee 表的姓名 (name) 列)的值进行排序的结构。如果想按特定职员的姓来查找他或她, 则与在表中搜索所有的行相比,索引有助于更快地...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:使用mysql 存储过 对日志表按照天分区
举报原因:
原因补充:

(最多只允许输入30个字)