Mysql按日期分表

转载 2017年10月13日 09:38:17

一、表不存在时则创建

  之前做项目实在是太赶了,很多东西都没记录。是时候补回来了

  MySQL做一个大表,由于要存历史记录,所以数据量很大,查询很慢。恰好查询的时候,又不需要时间太久的冷数据。现在将其实现原理提取成一个控制台小程序。

  首先,创建一个简单的数据库访问类。

复制代码
    public static class CommonDao
    {
        private static MySqlConnection conn = new MySqlConnection(ConfigurationManager.AppSettings["DB"]);        //创建连接

        /// <summary>
        /// Insert Update Delete语句的执行
        /// </summary>
        /// <param name="SQL">SQL语句</param>
        /// <returns>返回影响行数</returns>
        public static int ExecuteNonQuerySQL(string SQL)
        {
            MySqlCommand cmd = conn.CreateCommand();
            cmd.CommandText = SQL;
            if (conn.State != ConnectionState.Open)
            {
                conn.Open();
            }
            int Count = cmd.ExecuteNonQuery();
            conn.Close();
            return Count;
        }
    }
复制代码

  由于是按分钟分表,所以写个定时器,每一分钟往里面插入5条数据:

复制代码
        static void Main(string[] args)
        {
            //每分钟执行一次,插入5条数据
            Timer t = new Timer(60000);
            t.Enabled = true;       //到达时间就执行一次,或者是持续执行
            t.AutoReset = true;     //一直执行

            t.Elapsed += (sender, eea) =>
            {
                for (int i = 0; i < 5; i++)
                {
                    DateTime dt = DateTime.Now;
                    string TableName = "person" + dt.ToString("yyyyMMddHHmm");
                    string sql = "INSERT INTO " + TableName + " VALUES(null,'superman','" + dt.ToString("yyyy-MM-dd HH:mm:ss") + "')";
                    try
                    {
                        CommonDao.ExecuteNonQuerySQL(sql);
                    }
                    catch (Exception e)
                    {
                        MySqlException ex = e as MySqlException;
                        //1146的代号就是表不存在的错误
                        if (ex.Number == 1146)
                        {
                            //如果表不存在,则先创建这个表
                            string SQLCreateTable = "CREATE TABLE " + TableName + " LIKE person";  //从模板表来创建新表,这样的好处是索引、自增什么的可以一次性建好
                            CommonDao.ExecuteNonQuerySQL(SQLCreateTable);
                        }
                    }
                }

            };

            Console.ReadKey();
        }
复制代码

  第一张Person模板表的格式如下:

CREATE TABLE `person` (
  `Id` int(11) NOT NULL AUTO_INCREMENT,
  `Name` varchar(255) DEFAULT NULL,
  `OperateTime` datetime DEFAULT NULL,
  PRIMARY KEY (`Id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

  

  于是就每分钟都会创建表并添加数据。

  

二、分表后跨表查询的问题

  分表后有很多问题要处理,简单做两个,maybe会有其他问题。

  1、数据在哪个表里;

  2、数据跨表了,那么就需要表连接;

  通常对这种大表,都肯定要加时间的了,所以要根据时间来判断查哪张表和如何表连接。

  增加一个查询的方法:

复制代码
        /// <summary>
        /// 根据SQL语句查询DataTable
        /// </summary>
        /// <param name="SQL">SQL语句</param>
        /// <returns>返回DataTable</returns>
        public static DataTable GetDataTableBySQL(string SQL)
        {
            DataSet ds = new DataSet();
            MySqlDataAdapter Msda = new MySqlDataAdapter(SQL, conn);
            Msda.Fill(ds);
            DataTable dt = new DataTable();
            if (ds.Tables.Count > 0)
            {
                dt = ds.Tables[0];
            }
            return dt;
        }
复制代码

  数据定位的方法:

复制代码
        public static string GetTableName(DateTime dtStart, DateTime dtEnd)
        {
            if(dtStart.ToString("yyyyMMddHHmm") == dtEnd.ToString("yyyyMMddHHmm"))
            {
                return "person" + dtStart.ToString("yyyyMMddHHmm");
            }
            else
            {
                string TableName = "(SELECT * FROM person" + dtStart.ToString("yyyyMMddHHmm");
                DateTime dt = dtStart.AddMinutes(1);
                while(dt.ToString("yyyyMMddHHmm") != dtEnd.ToString("yyyyMMddHHmm"))
                {
                    TableName += " UNION ALL SELECT * FROM person" + dt.ToString("yyyyMMddHHmm");
                    dt = dt.AddMinutes(1);
                }
                TableName += " UNION ALL SELECT * FROM person" + dt.ToString("yyyyMMddHHmm") + ") AS T";
                return TableName;
            }
        }
复制代码

  测试查询:

            string sql = "SELECT * FROM " + GetTableName(Convert.ToDateTime("2016-04-21 17:54:00"),Convert.ToDateTime("2016-04-21 17:56:00"));
            DataTable dt = CommonDao.GetDataTableBySQL(sql);
            foreach(DataRow dr in dt.Rows)
            {
                Console.WriteLine(dr[0] + " " + dr[1] + " " + dr[2]);
            }

  结果如下:

  

  很明显上面的代码暴露出了一个问题,ID重复了。

  本处提供的可选解决方案是。

  1、ID使用GUID。

  2、自增数字的前面加上表名的日期前缀,如,如果你是按月分表,自增Id设置long类型,然后起止值设置为"201604000000000000000 + Id"。这样就不会重复啦。

  自定数字的方式只需多执行以下一条SQL语句:

ALTER TABLE person201604211757 AUTO_INCREMENT=2016042100;

  然后生成的ID列的值如下:

  简单示例就是如此


原文链接:http://www.cnblogs.com/kissdodog/p/5417912.html

如何统计分表(按日期分表)的总和数据

今天遇到一个爬虫业务,爬虫每天会定期爬取百度的数据,然后放到一个分表里面,每天爬取到的数据大概有3~4百万的级别。分表的后缀名就是当天的日期, 比如table_name_20170215,table...

MySQL分表处理的实现方法(按月份分的表)

MySQL分表处理用于处理海量的数据库,下面就为您详细介绍MySQL分表处理的实现方法,希望对您能够有所启迪。 面对海量数据的表的时候,我们需要对它进行分表处理,我是按月份分的表,即每月都要建立一张...

mysql分库分表的方法

分表后怎么做全文搜索 1.merge方式分表(不好) 2. 使用 sql union 3 使用Sphinx全文检索引擎 一,先说一下为什么要分表 当一张的数据达到几百万时,你查询一次所花的时...

Mycat(5):聊天消息表数据库按月分表实践,平滑扩展

业务需求比如一个社交软件,比如像腾讯的qq。可以进行群聊天(gid),也可以单人聊天。 数据量按月增加需要按月进行数据库拆分。 比如按照2015年进行12个月拆分,同时可以配合gid进行水平拆分...

mysql存储过程按月创建表分区 方式一

mysql存储过程创建表分区(一) 关于分区表,表分区 请看:http://www.cnblogs.com/freeton/p/4265228.html 关于定时任务 请看:http://www....
  • aofavx
  • aofavx
  • 2015年12月22日 10:47
  • 5615

MYSQL之表分区----按日期分区

错误的按日期分区例子 最直观的方法,就是直接用年月日这种日期格式来进行常规的分区: PLAIN TEXT CODE: mysql> create table rms (d date) -> ...

Mysql数据库常用分库和分表方式

1 分库 1.1 按照功能分库     按照功能进行分库。常见的分成6大库:     1 用户类库:用于保存了用户的相关信息。例如:db_user,db_system,db_company等。    ...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Mysql按日期分表
举报原因:
原因补充:

(最多只允许输入30个字)