MYSQL 服务端优化----------分区

最新推荐文章于 2021-12-05 13:36:56 发布
最新推荐文章于 2021-12-05 13:36:56 发布
阅读量114 收藏
点赞数 1
分类专栏： 数据库 文章标签： mysql分区
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39280774/article/details/92830373
版权

  1. 首先是表空间 减少 磁盘io

       my.ini目录下  
   innodb_file_per_table=1

2.对于已经有大量数据 进行分区操作流程

	一，什么是mysql分表，分区
			什么是分表，从表面意思上看呢，就是把一张表分成N多个小表
			什么是分区，分区呢就是把一张表的数据分成N多个区块，这些区块可以在同一个磁盘上，也可以在不同的  		           磁盘上
	二、自定义规则分表

	大表可以按照业务的规则来分解为多个子表。通常为以下几种类型，也可自己定义规则。

		Range（范围）–这种模式允许将数据划分不同范围。例如可以将一个表通过年份划分成若干个分区。
		
		Hash（哈希）–这中模式允许通过对表的一个或多个列的Hash Key进行计算，最后通过这个Hash码不同数值对应的数据区域进行分区。例如可以建立一个对表主键进行分区的表。
		
		Key（键值）-上面Hash模式的一种延伸，这里的Hash Key是MySQL系统产生的。
		
		List（预定义列表）–这种模式允许系统通过预定义的列表的值来对数据进行分割。
		
		Composite（复合模式） –以上模式的组合使用　

3.下面是我操作进行的过程

	-- 创建个临时表 和old表一样 
	CREATE  TABLE  mini_app_bulletin_temp LIKE mini_app_bulletin;
	
	-- 把 old表数据插入到临时表中  
	INSERT INTO mini_app_bulletin_temp  SELECT * FROM mini_app_bulletin;
	
	-- 删除old表
	 DROP TABLE  mini_app_bulletin;
	
	-- 重新创建新表  然后进行分区  
	
	 DROP TABLE IF EXISTS `mini_app_bulletin`;
	 CREATE TABLE `mini_app_bulletin` (
	  `id` varchar(64) CHARACTER SET utf8 NOT NULL COMMENT '主键id',
	  `title` varchar(512) CHARACTER SET utf8 DEFAULT NULL COMMENT '公告公示标题',
	  `content` longtext,
	  `tid` varchar(255) CHARACTER SET utf8 DEFAULT NULL COMMENT '爬取公告的id用于验重',
	  `hits` int(11) DEFAULT '0' COMMENT '点击数',
	  `province` varchar(64) CHARACTER SET utf8 DEFAULT NULL COMMENT '省份',
	  `province_name` varchar(64) DEFAULT NULL COMMENT '省份名称',
	  `city` varchar(64) DEFAULT NULL COMMENT '城市',
	  `city_name` varchar(64) DEFAULT NULL COMMENT '城市名称',
	  `keywords` varchar(1024) CHARACTER SET utf8 DEFAULT NULL COMMENT '公告检索关键字',
	  `from_site` varchar(512) CHARACTER SET utf8 DEFAULT NULL COMMENT '公告来源网站',
	  `status` varchar(64) DEFAULT '0' COMMENT '是否贴标签',
	  `type` varchar(64) DEFAULT '1' COMMENT '公告类型1=招标公告；2=变更公告；3=中标公告',
	  `purchase_type` varchar(64) DEFAULT NULL COMMENT '采购类型 字典类型为 : bulletin_keyword parentId为: 5ea96ae460354383808db0510480e417',
	  `create_by` varchar(64) CHARACTER SET utf8 DEFAULT '' COMMENT '创建者',
	  `create_date` datetime DEFAULT NULL COMMENT '创建时间',
	  `update_by` varchar(64) CHARACTER SET utf8 DEFAULT '' COMMENT '更新者',
	  `update_date` datetime DEFAULT NULL COMMENT '更新时间',
	  `remarks` varchar(255) CHARACTER SET utf8 DEFAULT NULL COMMENT '备注信息',
	  `del_flag` char(1) CHARACTER SET utf8 DEFAULT '0' COMMENT '删除标记',
	  `tender_project_code` varchar(255) DEFAULT NULL COMMENT '招标项目编号',
	  `tenderer_code` varchar(255) DEFAULT NULL COMMENT '招标人统一社会信用代码',
	  `tender_agency_code` varchar(255) DEFAULT NULL COMMENT '招标代理统一社会信用代码',
	  `related_suppliers_code` varchar(1024) DEFAULT NULL COMMENT '相关供应商代码',
	  `organiz_form` varchar(64) DEFAULT '2' COMMENT '组织形式:1自行招标2委托招标',
	  `tenderer_name` varchar(255) DEFAULT NULL COMMENT '招标人名称',
	  `publish_date` varchar(255) DEFAULT NULL,
	  `open_bid_date` varchar(255) DEFAULT NULL,
	  `first_trial_date` datetime DEFAULT NULL COMMENT '初审时间',
	  `rechecking_date` datetime DEFAULT NULL COMMENT '复核时间',
	  `is_suspect_repeat` varchar(64) DEFAULT NULL COMMENT '疑似重复标识',
	  `total_budget` varchar(64) DEFAULT '0' COMMENT '项目总预算',
	  PRIMARY KEY (`id`,`tid`),
	  UNIQUE KEY `tid` (`tid`),
	  KEY `mini_app_bulletin_create_date` (`create_date`),
	  KEY `mini_app_bulletin_del_flag_create_date` (`del_flag`,`create_date`),
	  KEY `mini_app_bulletin_update_date` (`update_date`),
	  KEY `mini_app_bulletin_first_trial_date` (`first_trial_date`),
	  KEY `mini_app_bulletin_tender_project_code` (`tender_project_code`(191)),
	  KEY `mini_app_bulletin_related_suppliers_code` (`related_suppliers_code`(191)),
	  KEY `mini_app_bulletin_tenderer_code` (`tenderer_code`(191)),
	  KEY `mini_app_bulletin_tender_agency_code` (`tender_agency_code`(191)),
	  KEY `INDEX_ON_PROVINCE_NAME` (`province_name`),
	  KEY `INDEX_ON_TITLE` (`title`(255))
	) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='小程序展示的公告数据'
	 PARTITION by   KEY(tid) 
	 PARTITIONS  7;
	
	
	-- 插入之前的数据
	
	INSERT INTO mini_app_bulletin  SELECT * FROM mini_app_bulletin_temp;

根据时间的方式

	DROP TABLE IF EXISTS `mini_app_bulletin`;
	CREATE TABLE `mini_app_bulletin` (
	  `id` varchar(64) CHARACTER SET utf8 NOT NULL COMMENT '主键id',
	  `title` varchar(512) CHARACTER SET utf8 DEFAULT NULL COMMENT '公告公示标题',
	  `content` longtext,
	  `tid` varchar(255) CHARACTER SET utf8 DEFAULT NULL COMMENT '爬取公告的id用于验重',
	  `hits` int(11) DEFAULT '0' COMMENT '点击数',
	  `province` varchar(64) CHARACTER SET utf8 DEFAULT NULL COMMENT '省份',
	  `province_name` varchar(64) DEFAULT NULL COMMENT '省份名称',
	  `city` varchar(64) DEFAULT NULL COMMENT '城市',
	  `city_name` varchar(64) DEFAULT NULL COMMENT '城市名称',
	  `keywords` varchar(1024) CHARACTER SET utf8 DEFAULT NULL COMMENT '公告检索关键字',
	  `from_site` varchar(512) CHARACTER SET utf8 DEFAULT NULL COMMENT '公告来源网站',
	  `status` varchar(64) DEFAULT '0' COMMENT '是否贴标签',
	  `type` varchar(64) DEFAULT '1' COMMENT '公告类型1=招标公告；2=变更公告；3=中标公告',
	  `purchase_type` varchar(64) DEFAULT NULL COMMENT '采购类型 字典类型为 : bulletin_keyword parentId为: 5ea96ae460354383808db0510480e417',
	  `create_by` varchar(64) CHARACTER SET utf8 DEFAULT '' COMMENT '创建者',
	  `create_date` date NOT NULL COMMENT '创建时间',
	  `update_by` varchar(64) CHARACTER SET utf8 DEFAULT '' COMMENT '更新者',
	  `update_date` datetime DEFAULT NULL COMMENT '更新时间',
	  `remarks` varchar(255) CHARACTER SET utf8 DEFAULT NULL COMMENT '备注信息',
	  `del_flag` char(1) CHARACTER SET utf8 DEFAULT '0' COMMENT '删除标记',
	  `tender_project_code` varchar(255) DEFAULT NULL COMMENT '招标项目编号',
	  `tenderer_code` varchar(255) DEFAULT NULL COMMENT '招标人统一社会信用代码',
	  `tender_agency_code` varchar(255) DEFAULT NULL COMMENT '招标代理统一社会信用代码',
	  `related_suppliers_code` varchar(1024) DEFAULT NULL COMMENT '相关供应商代码',
	  `organiz_form` varchar(64) DEFAULT '2' COMMENT '组织形式:1自行招标2委托招标',
	  `tenderer_name` varchar(255) DEFAULT NULL COMMENT '招标人名称',
	  `publish_date` varchar(255) DEFAULT NULL,
	  `open_bid_date` varchar(255) DEFAULT NULL,
	  `first_trial_date` datetime DEFAULT NULL COMMENT '初审时间',
	  `rechecking_date` datetime DEFAULT NULL COMMENT '复核时间',
	  `is_suspect_repeat` varchar(64) DEFAULT NULL COMMENT '疑似重复标识',
	  `total_budget` varchar(64) DEFAULT '0' COMMENT '项目总预算',
	  PRIMARY KEY (`id`,`tid`,create_date),
	  
	  KEY `mini_app_bulletin_del_flag_create_date` (`del_flag`,`create_date`),
	  KEY `mini_app_bulletin_update_date` (`update_date`),
	  KEY `mini_app_bulletin_first_trial_date` (`first_trial_date`),
	  KEY `mini_app_bulletin_tender_project_code` (`tender_project_code`(191)),
	  KEY `mini_app_bulletin_related_suppliers_code` (`related_suppliers_code`(191)),
	  KEY `mini_app_bulletin_tenderer_code` (`tenderer_code`(191)),
	  KEY `mini_app_bulletin_tender_agency_code` (`tender_agency_code`(191)),
	  KEY `INDEX_ON_PROVINCE_NAME` (`province_name`),
	  KEY `INDEX_ON_TITLE` (`title`(255))
	) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='小程序展示的公告数据'
	 partition by RANGE columns(create_date)
	(
		partition p0 values less than ('2019-01-01'),
	  partition p1 values less than ('2019-02-01'),
	  partition p2 values less than ('2019-03-01'),
	  partition p3 values less than ('2019-04-01'),
	  partition p4 values less than ('2019-05-01'),
	  partition p5 values less than ('2019-06-01'),
	  partition p6 values less than ('2019-07-01'),
	  partition p7 values less than ('2019-08-01'),
	  partition p8 values less than ('2019-09-01'),
	  partition p9 values less than ('2019-10-01'),
	  partition p10 values less than ('2019-11-01'),
	  partition p11 values less than ('2019-12-01'),
	  partition p12 values less than ('2020-01-01')
	 
	)

mysqlserver的文件夹张这样子
每一个分区都是独立的文件去存放数据
当需要更多的分区的时候

	ALTER  TABLE  mini_app_bulletin  ADD  partition
	(
	  partition p13 values less than ('2020-02-01')
	)
小君zero
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MySQL: mini-transaction简析
记录成长之路
01-15 4198
转载请署名：印风 ----------------------------------------------- 在innodb里我们经常可以看到一段代码，以mtr_start()开始，以mtr_commit(&mtr)结束；minitransaction主要用于锁和日志信息. Mini事务的控制结构体： struct mtr_struct{ #ifdef UNIV_DEBUG
mysql--分区
蓝蓝的天
10-24 234
Hash分区 create table hash_partition( a int not null, b datetime, c varchar(10) )engine=innodb partition by hash(YEAR(b)) partitions 4; RANGE分区 CREATE TABLE part_tab ( c1 int default NULL, c2 varcha...
python无法定位到table_爬虫无法定位到tbody下的tr求助！！！！
weixin_39811150的博客
12-10 1612
我整了半天 总算有点明白了，tbody里的tr数据是通过一个post请求生成的 我写了一个请求发现他返回的数据是这样：{"message":"","success":true,"object":{"returnlist":[{"guid":null,"businessId":"769e2fbcaa3847dfbfc33763729bb248","tenderProjectCode":"M44010...
mysql调优-查询执行流程分析
小马哥的博客
08-05 445
mysql体系结构及运行机理 mysql体系结构 Client Connectors 接入方 支持协议很多 Management Serveices & Utilities 系统管理和控制工具，mysqldump、 mysql复制集群、分区管理等 Connection Pool 连接池：管理缓冲用户连接、用户名、密码、权限校验、线程处理等需要缓存的需求 SQL Int...
MySQL优化(三) 分区表
tedfdndg的博客
12-05 1440
MySQL 分区表的介绍
mysql-5.5.40服务端.zip
08-21
4. **分区功能**：在5.5.40中，MySQL 提供了更加灵活的分区策略，包括基于范围、哈希和列表的分区，有助于管理和优化大数据表的查询速度。 5. **安全增强**：该版本包含了安全方面的改进，比如强化了权限系统，支持...
mysql-server mysql for linux最新服务端
06-08
"mysql-server"是MySQL服务端组件，它是数据库引擎的核心，负责处理数据库的读写操作、数据存储以及SQL查询的解析和执行。本资源是针对Linux平台的MySQL Server最新版本，即MySQL-server-5.5.24-1.linux2.6.i386.rpm...
hive-mysqlhive-mysql
11-20
1. **安装MySQL**：在Linux系统上，使用RPM软件包安装MySQL服务端和客户端。 2. **配置MySQL**：设置用户、数据库和权限，确保Hive可以安全地访问MySQL。 3. **添加JDBC驱动**：将`mysql-connector-java-5.1.37.jar`...
mysql-5.6.24-win32
01-10
这个压缩包包含了一个用于在Windows系统上安装MySQL服务端的安装程序——mysql-5.6.24-win32.msi。 1. **MySQL 5.6版本**：MySQL 5.6是MySQL的一个重大更新版本，发布于2013年。它带来了许多性能改进和新特性，如...
QTQTQTQTQTQTQTQTQTQTQTQTQTQTQT
08-07
QTQTQTQTQTQTQTQTQTQTQTQTQTQTQT
薪酬设计薪资规划与晋升制度.ppt
08-07
薪酬设计薪资规划与晋升制度.ppt
Exaros（艾克萨罗斯），C 语言开发的基于 RISCV 的操作系统.zip
08-07
优质项目，资源经过严格测试可直接运行成功且功能正常的情况才上传，可轻松copy复刻，拿到资料包后可轻松复现出一样的项目。 本人系统开发经验充足，有任何使用问题欢迎随时与我联系，我会及时为你解惑，提供帮助。 【资源内容】：包含完整源码+工程文件+说明（若有），项目具体内容可查看下方的资源详情。 【附带帮助】： 若还需要相关开发工具、学习资料等，我会提供帮助，提供资料，鼓励学习进步。 【本人专注计算机领域】： 有任何使用问题欢迎随时与我联系，我会及时解答，第一时间为你提供帮助，CSDN博客端可私信，为你解惑，欢迎交流。 【适合场景】： 相关项目设计中，皆可应用在项目开发、毕业设计、课程设计、期末/期中/大作业、工程实训、大创等学科竞赛比赛、初期项目立项、学习/练手等方面中 可借鉴此优质项目实现复刻，也可以基于此项目进行扩展来开发出更多功能 【无积分此资源可联系获取】 # 注意 1. 本资源仅用于开源学习和技术交流。不可商用等，一切后果由使用者承担。 2. 部分字体以及插图等来自网络，若是侵权请联系删除。积分/付费仅作为资源整理辛苦费用。
杰出班组长训练营.ppt
08-07
杰出班组长训练营.ppt
基于Java的视频会议系统模块项目（程序+论文）.zip
08-07
JAVA; 毕业设计；MVC模式; JSP; SQL Server 2000 数据库管理系统; J2EE
[毕业设计]VB+Access企业库存管理系统(源代码+论文+开题报告+目录).zip
08-07
[毕业设计]VB+Access企业库存管理系统(源代码+论文+开题报告+目录)
‌霜冰优化算法（RIME）matlab代码
最新发布
08-07
‌霜冰优化算法（RIME）是一种启发式优化算法，其灵感来源于自然界中霜冰的生长机制。这种算法通过模拟霜冰的形成过程，利用软霜的随机性和硬霜的规律性进行搜索，旨在解决优化问题。霜冰优化算法的主要特点包括软霜搜索策略、硬霜穿刺机制以及‌正向贪婪选择机制，这些机制共同作用以提高全局解的质量。
C语言课程设计_BC_公共交通行程管理系统.zip
08-07
优质项目，资源经过严格测试可直接运行成功且功能正常的情况才上传，可轻松copy复刻，拿到资料包后可轻松复现出一样的项目。 本人系统开发经验充足，有任何使用问题欢迎随时与我联系，我会及时为你解惑，提供帮助。 【资源内容】：包含完整源码+工程文件+说明（若有），项目具体内容可查看下方的资源详情。 【附带帮助】： 若还需要相关开发工具、学习资料等，我会提供帮助，提供资料，鼓励学习进步。 【本人专注计算机领域】： 有任何使用问题欢迎随时与我联系，我会及时解答，第一时间为你提供帮助，CSDN博客端可私信，为你解惑，欢迎交流。 【适合场景】： 相关项目设计中，皆可应用在项目开发、毕业设计、课程设计、期末/期中/大作业、工程实训、大创等学科竞赛比赛、初期项目立项、学习/练手等方面中 可借鉴此优质项目实现复刻，也可以基于此项目进行扩展来开发出更多功能 【无积分此资源可联系获取】 # 注意 1. 本资源仅用于开源学习和技术交流。不可商用等，一切后果由使用者承担。 2. 部分字体以及插图等来自网络，若是侵权请联系删除。积分/付费仅作为资源整理辛苦费用。
大学生国赛电子设计优秀作品-16.光伏并网发电模拟装置.zip
08-07
大学生国赛电子设计优秀作品-16.光伏并网发电模拟装置.zip
Nagios-3.2 完全指南：安装、配置与监控
我们将按照步骤进行Nagios服务端和客户端的安装，包括Nagios核心、Nagios-plugins、Nrpe、PNP4Nagios等组件的安装，以及相关的配置和验证。 **环境** 系统：CentOS 5.3 x32 IP：192.168.0.125 角色：服务端 软件：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值