Mysql按日期分表

转载 2017年10月13日 09:38:17

一、表不存在时则创建

  之前做项目实在是太赶了,很多东西都没记录。是时候补回来了

  MySQL做一个大表,由于要存历史记录,所以数据量很大,查询很慢。恰好查询的时候,又不需要时间太久的冷数据。现在将其实现原理提取成一个控制台小程序。

  首先,创建一个简单的数据库访问类。

复制代码
    public static class CommonDao
    {
        private static MySqlConnection conn = new MySqlConnection(ConfigurationManager.AppSettings["DB"]);        //创建连接

        /// <summary>
        /// Insert Update Delete语句的执行
        /// </summary>
        /// <param name="SQL">SQL语句</param>
        /// <returns>返回影响行数</returns>
        public static int ExecuteNonQuerySQL(string SQL)
        {
            MySqlCommand cmd = conn.CreateCommand();
            cmd.CommandText = SQL;
            if (conn.State != ConnectionState.Open)
            {
                conn.Open();
            }
            int Count = cmd.ExecuteNonQuery();
            conn.Close();
            return Count;
        }
    }
复制代码

  由于是按分钟分表,所以写个定时器,每一分钟往里面插入5条数据:

复制代码
        static void Main(string[] args)
        {
            //每分钟执行一次,插入5条数据
            Timer t = new Timer(60000);
            t.Enabled = true;       //到达时间就执行一次,或者是持续执行
            t.AutoReset = true;     //一直执行

            t.Elapsed += (sender, eea) =>
            {
                for (int i = 0; i < 5; i++)
                {
                    DateTime dt = DateTime.Now;
                    string TableName = "person" + dt.ToString("yyyyMMddHHmm");
                    string sql = "INSERT INTO " + TableName + " VALUES(null,'superman','" + dt.ToString("yyyy-MM-dd HH:mm:ss") + "')";
                    try
                    {
                        CommonDao.ExecuteNonQuerySQL(sql);
                    }
                    catch (Exception e)
                    {
                        MySqlException ex = e as MySqlException;
                        //1146的代号就是表不存在的错误
                        if (ex.Number == 1146)
                        {
                            //如果表不存在,则先创建这个表
                            string SQLCreateTable = "CREATE TABLE " + TableName + " LIKE person";  //从模板表来创建新表,这样的好处是索引、自增什么的可以一次性建好
                            CommonDao.ExecuteNonQuerySQL(SQLCreateTable);
                        }
                    }
                }

            };

            Console.ReadKey();
        }
复制代码

  第一张Person模板表的格式如下:

CREATE TABLE `person` (
  `Id` int(11) NOT NULL AUTO_INCREMENT,
  `Name` varchar(255) DEFAULT NULL,
  `OperateTime` datetime DEFAULT NULL,
  PRIMARY KEY (`Id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

  

  于是就每分钟都会创建表并添加数据。

  

二、分表后跨表查询的问题

  分表后有很多问题要处理,简单做两个,maybe会有其他问题。

  1、数据在哪个表里;

  2、数据跨表了,那么就需要表连接;

  通常对这种大表,都肯定要加时间的了,所以要根据时间来判断查哪张表和如何表连接。

  增加一个查询的方法:

复制代码
        /// <summary>
        /// 根据SQL语句查询DataTable
        /// </summary>
        /// <param name="SQL">SQL语句</param>
        /// <returns>返回DataTable</returns>
        public static DataTable GetDataTableBySQL(string SQL)
        {
            DataSet ds = new DataSet();
            MySqlDataAdapter Msda = new MySqlDataAdapter(SQL, conn);
            Msda.Fill(ds);
            DataTable dt = new DataTable();
            if (ds.Tables.Count > 0)
            {
                dt = ds.Tables[0];
            }
            return dt;
        }
复制代码

  数据定位的方法:

复制代码
        public static string GetTableName(DateTime dtStart, DateTime dtEnd)
        {
            if(dtStart.ToString("yyyyMMddHHmm") == dtEnd.ToString("yyyyMMddHHmm"))
            {
                return "person" + dtStart.ToString("yyyyMMddHHmm");
            }
            else
            {
                string TableName = "(SELECT * FROM person" + dtStart.ToString("yyyyMMddHHmm");
                DateTime dt = dtStart.AddMinutes(1);
                while(dt.ToString("yyyyMMddHHmm") != dtEnd.ToString("yyyyMMddHHmm"))
                {
                    TableName += " UNION ALL SELECT * FROM person" + dt.ToString("yyyyMMddHHmm");
                    dt = dt.AddMinutes(1);
                }
                TableName += " UNION ALL SELECT * FROM person" + dt.ToString("yyyyMMddHHmm") + ") AS T";
                return TableName;
            }
        }
复制代码

  测试查询:

            string sql = "SELECT * FROM " + GetTableName(Convert.ToDateTime("2016-04-21 17:54:00"),Convert.ToDateTime("2016-04-21 17:56:00"));
            DataTable dt = CommonDao.GetDataTableBySQL(sql);
            foreach(DataRow dr in dt.Rows)
            {
                Console.WriteLine(dr[0] + " " + dr[1] + " " + dr[2]);
            }

  结果如下:

  

  很明显上面的代码暴露出了一个问题,ID重复了。

  本处提供的可选解决方案是。

  1、ID使用GUID。

  2、自增数字的前面加上表名的日期前缀,如,如果你是按月分表,自增Id设置long类型,然后起止值设置为"201604000000000000000 + Id"。这样就不会重复啦。

  自定数字的方式只需多执行以下一条SQL语句:

ALTER TABLE person201604211757 AUTO_INCREMENT=2016042100;

  然后生成的ID列的值如下:

  简单示例就是如此


原文链接:http://www.cnblogs.com/kissdodog/p/5417912.html

相关文章推荐

MySQL分表处理的实现方法(按月份分的表)

MySQL分表处理用于处理海量的数据库,下面就为您详细介绍MySQL分表处理的实现方法,希望对您能够有所启迪。 面对海量数据的表的时候,我们需要对它进行分表处理,我是按月份分的表,即每月都要建立一张...

MySQL使用MERGE进行分表实现

使用MERGE进行分表: 发现一个MERGE表一直出现Unable to open underlying table which is differently defined or of non-M...

分布式存储--Mysql--序列3--分库分表策略

分库分表是存储层设计中一个普遍而重大的问题,什么时候分?怎么分?分完之后引发的新问题,比如不能Join、分布式事务? 本篇将从最基本的策略出发,逐步深入讲解这里面涉及的一序列策略。分库-业务分拆 & ...

mysql —— 分表分区

面对当今大数据存储,设想当mysql中一个表的总记录超过1000W,会出现性能的大幅度下降吗? 答案是肯定的,一个表的总记录超过1000W,在操作系统层面检索也是效率非常低的 解决方案: 目前针...

Mysql分表和分区的区别

一,什么是mysql分表,分区  什么是分表,从表面意思上看呢,就是把一张表分成N多个小表,具体请看mysql分表的3种方法  什么是分区,分区呢就是把一张表的数据分成N多个区块,这些区块...

mysql实现hash分表

mysql作为站点后端的重要数据落地组成部分,可谓是运用相当之广泛。在web应用中,往往庞大的数据会最终落地到mysql中,当一张mysql单表记录了上10亿的记录时,性能往往不会很理想,于是我们往往...

mysql的主从同步和分库分表

mysql的主从同步: mysql主服务器:10.128.199.232 mysql从服务器:10.128.199.233 数据库mycat_test 主服务器my.ini配置,在文件...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Mysql按日期分表
举报原因:
原因补充:

(最多只允许输入30个字)