mysql
文章平均质量分 84
javastart
专注于大数据 AI
展开
-
MySQL】高性能高可用表设计实战-表设计篇
本篇文章结合前面上一篇文章 MySQL建表与常见类型设计陷阱,结合上文所学的属性类型,本文详细介绍表结构的字段类型选择和表的物理存储设计,主要有库、表、字段、索引的命名规范,反范式的设计原则、表压缩。本篇文章结合前面上一篇文章 MySQL建表与常见类型设计陷阱,结合上文所学的属性类型,本文详细介绍表结构的字段类型选择和表的物理存储设计,主要有库、表、字段、索引的命名规范,反范式的设计原则、表压缩。对于没有分库分表的表,在物理存储层面主要是考虑是否要使用压缩(页)表功能,默认情况下,所有表都是非压缩的。转载 2022-11-13 14:45:40 · 219 阅读 · 0 评论 -
mysql查询优化 profile功能_MYSQL查询优化:profile功能
mysql> use testDatabase changedmysql> set profiling=1;Query OK, 0 rows affected (0.00 sec)mysql> show tables;+----------------+| Tables_in_test |+----------------+| bag_item || bag_user || score || t |+----------------+4.原创 2021-03-21 21:45:56 · 159 阅读 · 0 评论 -
mysql开启binlog影响性能_技术分享 | MySQL binlog 压缩功能对性能的影响
本文链接:https://blog.csdn.net/weixin_39629075/article/details/113557347概要之前有做过一个 binlog 压缩能节约多少空间的测试,效果上看还是比较理想的,可以节约一半以上的空间。但是这个又引出了一个新的问题,那就是这个功能对性能有多大影响呢?于是我又在测试环境试了一下,测试环境的物理配置如下。根据之前的经验这套测试环境在 120 个表 + 240 个并发的情况,可以取得一个性能上的极大值;所以在这里就直接使用这个作为测试压力...转载 2021-03-06 10:01:15 · 873 阅读 · 0 评论 -
Mysql8.0升级,数据查询效率上涨400%解决高并发难题
概述:目前绝大多数网络应用依然再使用Mysql5.7,不过在随着应用覆盖率及应用人群提升,特别是春节等期间等引流活动加持下数据库都撑不过第一轮高并发的压力。目前Mysql8.0的升级版瞬间将同等配置下的数据并发阈值提升到400%。# 周年庆正版采购有优惠,点击咨询 ## 31款JAVA开发必备控件和工具 #在Mysql8.0发布的4年后,把Mysql5.7升级至Mysql8.0.19已经是必要之举,截止目前最后一次文件更新是2020年1约12日,关于Mysql8.0的离线文档下载链接点这...转载 2021-02-20 17:55:56 · 1852 阅读 · 0 评论 -
mysql 5.7 binlog 压缩_MySQL binlog 压缩功能的相关介绍-爱可生
为了解决大数据下 binlog 占用空间大问题,在研究这问题。之前有做过一个 binlog 压缩能节约多少空间的测试,效果上看还是比较理想的,可以节约一半以上的空间。但是这个又引出了一个新的问题,那就是这个功能对性能有多大影响呢?于是我又在测试环境试了一下,测试环境的物理配置如下。根据之前的经验这套测试环境在 120 个表 + 240 个并发的情况,可以取得一个性能上的极大值;所以在这里就直接使用这个作为测试压力。8.0.19 场景第一步:安装。dbma-cli-singl...转载 2021-02-08 14:17:26 · 435 阅读 · 0 评论 -
MySQL之binlog_row_image参数
根据文档描述,在基于RBR的复制中,每一个数据行更改事件会包含两份影像(image)。一份是“before”影像,是指被更改的数据行的那些列的原始记录,一份是“after”影像,是指被更改后的列(值)。默认配置下,mysql会在“before”和“after”影像中记录更改数据行的所有列。但是很明显,这不是必须的。其实我们可以通过配置binlog_row_image参数来节省磁盘,内存以及网络资源。因为其实仅仅只需要记录我们更改的那些列(值)。当删除一条数据行时,仅仅只有“before”影...转载 2021-02-07 17:16:07 · 772 阅读 · 0 评论 -
Mysql Binlog三种格式详细介绍
一.MySQLBinlog格式介绍mysqlbinlog日志有三种格式,分别为Statement,MiXED,以及ROW!查看binlog的格式的脚本:二、binlog 的不同模式有什么区别呢?1.Statement:每一条会修改数据的sql都会记录在binlog中。优点:不需要记录每一行的变化,减少了binlog日志量,节约了IO,提高性能。(相比row能节约多少性能与日志量,这个取决于应用的SQL情况,正常同一条记录修改或者插入row格式所产生的日志量...原创 2021-02-07 09:56:49 · 980 阅读 · 0 评论 -
sqoop批量插入数据
问题虽然Sqoop的导出功能符合需要, 但速度太慢。每一行都插入到单独的insert语句中,是否有方法将多个insert语句一起批处理?解决方案Sqoop 为各种数据库和用例量身定做, 为每次插入多行提供多个选项。首先, 可以使用--batch参数启用 JDBC 批处理:sqoop export \--connect jdbc:mysql://mysql.example.com/sqoop \--username sqoop \--password sqoop \--tab...原创 2021-02-05 15:15:49 · 1176 阅读 · 0 评论 -
数据库大批量SQL插入性能优化
对于一些数据量较大的系统,数据库面临的问题除了查询效率低下,还有就是数据入库时间长。特别像报表系统,每天花费在数据导入上的时间可能会长达几个小时或十几个小时之久。因此,优化数据库插入性能是很有意义的。经过对MySQL InnoDB的一些性能测试,发现一些可以提高insert效率的方法,供大家参考参考。1、一条SQL语句插入多条数据常用的插入语句如:INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `...转载 2021-02-05 14:51:17 · 253 阅读 · 0 评论 -
mysql mysqldump数据备份和增量备份(转)
mysql mysqldump数据备份和增量备份本篇文章主要讲如何使用shell实现mysql全量,增量备份,还可以按时间备份。 本篇文章主要讲如何使用shell实现mysql全量,增量备份。增量备份在周一-周六凌晨3点,会复制mysql-bin.00000*到指定目录;而全量备份则使用mysqldump将所有的数据库导出,每周日凌晨3点执,并会删除上周留下的mysq-转载 2014-10-15 14:42:42 · 5144 阅读 · 0 评论 -
用mysqldump备份及结合binlog日志恢复的全过程 (转)
原文地址:用mysqldump备份及结合binlog日志恢复的全过程 作者:xyaxlz1、查看更新备份时的数据mysql> select * from t1;+------+| id |+------+| 1 || 2 || 3 |+------+ 2、因为我的存储引擎是Myisam,为了保证数据的一直转载 2014-10-15 13:42:53 · 2485 阅读 · 0 评论 -
truncate/drop表非常慢,怎么办?用硬链接,极速体验
truncate/drop表非常慢,怎么办?用硬链接,极速体验 这个这个,我必须花巨大篇幅,记录下今天清空表记录的英雄壮举,可知道一个drop操作,执行了一下午啊一下午,这是要急出翔的节奏。。呵呵,下面开始 我的需求:某表因历史原因,积压了1亿条记录,约占360G空间。我要清掉它,就是这么简单。尝试1:作为DB小菜,首先想到的,当然是delete命令转载 2015-11-09 10:18:16 · 5434 阅读 · 1 评论 -
提升性能 Java程序优化的一些最佳实践
提升性能 Java程序优化的一些最佳实践1条评论2013-10-10 10:44 来源:开源中国社区 作者: chape 编辑:王晓东0购买 【IT168 技术】作者通过经历的一个项目实例,介绍Java代码优化的过程,总结了优化Java程序的一些最佳实践,分析了进行优化的方法,并解释了性能提升的原因。作者从多个角度分析导致性能低的原因,并逐个进行优转载 2015-11-18 10:47:54 · 806 阅读 · 0 评论 -
mysql建表设置两个默认CURRENT_TIMESTAMP的技巧
mysql建表设置两个默认CURRENT_TIMESTAMP的技巧 2012-06-23 14:39:42| 分类: mysql|举报|字号 订阅 下载LOFTER我的照片书 |业务场景:例如用户表,我们需要建一个字段是创建时间转载 2016-07-27 19:05:09 · 9176 阅读 · 0 评论 -
MySQL JDBC FetchSize解析
原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://boylook.blog.51cto.com/7934327/1308511根据http://boylook.blog.51cto.com/7934327/1298634提到MySQL JDBC的fetchsize问题. 在MySQl官方文档里只提到了streami转载 2017-09-26 15:00:03 · 4314 阅读 · 0 评论 -
聊聊mysql jdbc的queryTimeout及next方法
序本文主要介绍一下mysql jdbc statement的queryTimeout及resultSet的next方法executeQuery()mysql-connector-java-5.1.43-sources.jar!/com/mysql/jdbc/PreparedStatement.java/** * A Prepared SQL query is executed and i...转载 2018-04-17 15:20:00 · 2095 阅读 · 0 评论 -
mysql中blob,text字段的合成索引
在处理mysql 性能时,遇到了longtext 类型性能问题,在网上找了一些解决方案,感觉这个不错。整理文档供以后参考在mysql中,原来有一个叫合成索引的,可以提高blob,text字段的效率性能,方法一:但只能用在精确查询,核心是增加一个列,然后可以用md5进行散列,用散列值查找则速度快比如:create table abc(id varchar(10),cont...原创 2019-08-09 11:03:28 · 1867 阅读 · 0 评论 -
利用Xtrabackup工具备份及恢复(转)
利用Xtrabackup工具备份及恢复Xtrabackup------MySQL DBA的必备工具注意:1)文档参照http://www.percona.com/docs/wiki/percona-xtrabackup:start2)mysql要使用5.1.50版本或以上。 一、Xtrabackup简介及安装1、Xtrabackup 是perc转载 2014-10-14 13:04:16 · 518 阅读 · 0 评论 -
Xtrabackup安装及使用(转)
Xtrabackup安装及使用简介: Xtrabackup是一个对InnoDB做数据备份的工具,支持在线热备份(备份时不影响数据读写),是商业备份工具InnoDB Hotbackup的一个很好的替代品。 Xtrabackup有两个主要的工具:xtrabackup、innobackupex (1)xtrabackup只能备份InnoDB和XtraDB两种数据转载 2014-10-14 13:01:31 · 526 阅读 · 0 评论 -
MySQL加锁处理分析
1 背景 11.1 MVCC:Snapshot Read vs Current Read 21.2 Cluster Index:聚簇索引 31.3 2PL:Two-Phase Locking 31.4 Isolation Level 42 一条简单SQL的加锁实现分析 52.1转载 2014-10-10 12:39:47 · 1423 阅读 · 0 评论 -
Windows版Mysql5.6.11的安装与配置教程
Windows版Mysql5.6.11的安装与配置教程www.educity.cn 发布者:sunsonviki 来源:网络转载 发布日期:2014年01月04日 文章评论 发表文章 注册了oracle的登录名: 密码:dsideal******** 后面的*号是王卓常用的密码,但是是大写的,因为ORACLE的密码机制要求严格。 WIN转载 2014-07-30 10:08:02 · 700 阅读 · 0 评论 -
用cobar搭建分布式数据库 .
周末针对最新的项目需求进行cobar的搭建并针对实际状况做了demo演示一、需求1、大数据量,邮件发送记录需要记录,一年可能累计4亿的数据2、需要按照邮箱进行邮件发送明细的查询以及发送记录的查询二、问题1、单库分表分区已经解决不了存储以及查询问题2、只能进行一致性hash的策略进行数据存储以及查询,放弃了一些便利性查询统计三、实施方案,数据库采用mysq转载 2014-07-30 15:40:17 · 4257 阅读 · 0 评论 -
DOS和Linux常用命令的对比
许多在 shell 提示下键入的 Linux 命令都与你在 DOS 下键入的命令相似。事实上,某些命令完全相同。 本附录提供了 Windows 的 DOS 提示下的常用命令以及在 Linux 中与它们等同的命令。附录中还提供了如何在 Linux shell 提示下使用这些命令的简单实例。请注意,这些命令通常有许多选项,要进一步学习每一个命令,请阅读相关的说明书(man)页(例如,在 shel转载 2014-07-31 14:29:42 · 660 阅读 · 0 评论 -
MySQL修改密码方法总结
MySQL修改密码方法总结 首先要说明一点的是:一般情况下,修改MySQL密码是需要有mysql里的root权限的,这样一般用户是无法更改密码的,除非请求管理员帮助修改。 方法一 使用phpMyAdmin (图形化管理MySql数据库的工具),这是最简单的,直接用SQL语句修改mysql数据库库的user表,不过别忘了使用PASSWORD函数,插入用户用In转载 2014-07-31 11:04:58 · 518 阅读 · 0 评论 -
MySQL数据库服务器端核心参数详解和推荐配置
转载自 http://www.mysqlops.com【导读】MySQL手册上也有服务器端参数的解释,以及参数值的相关说明信息,现针对我们大家重点需要注意、需要修改或影响性能的服务器端参数,作其用处的解释和如何配置参数值的推荐,此事情拖了不少时间,为方便大家帮忙纠错(注:总是断断续续写的,可能存在笔误),先以文章的方式发布到网站,后续确定没问题,将会通过新浪微博的微盘提供PPT下转载 2014-07-31 09:36:52 · 1882 阅读 · 0 评论 -
增加mysql InnoDB的表空间
增加mysql InnoDB的表空间2013年9月12日 默北发表评论阅读评论 上节说到了如何添加和调整innodb log文件,然而调整表空间没这么简单,需要将数据导出来然后再导入。对于共享的表空间,ibdata会变的非常大,即使删除大量的数据,ibdata空间回收效果不明显。innodb_data_file_path该变量设置innoDB数据文件的位置和大小。指转载 2014-07-31 09:13:01 · 984 阅读 · 0 评论 -
mysql日志详细解析
mysql日志详细解析转自:http://pangge.blog.51cto.com/6013757/1319304MySQL日志:主要包含:错误日志、查询日志、慢查询日志、事务日志、二进制日志;日志是mysql数据库的重要组成部分。日志文件中记录着mysql数据库运行期间发生的变化;也就是说用来记录mysql数据库的客户端连接状况、SQL语句的执行情况和错误信息等转载 2014-08-01 10:25:05 · 743 阅读 · 0 评论 -
mysql 安装问题处理 Error in my_thread_global_end(): 1 threads didn't exit
在安装Percona-Server-server-55-5.5.38-rel35.2.el5.x86_64.rpm 时使用命令 ipm -i 安装时原创 2014-08-07 15:55:53 · 5111 阅读 · 0 评论 -
Mysql之Percona(1)最新版本5.6.10手把手安装手册.txt
Mysql之Percona(1)最新版本5.6.10手把手安装手册.txt[复制链接]转载 2014-08-08 08:19:37 · 873 阅读 · 0 评论 -
LD_LIBRARY_PATH环境变量的设置
博客分类:linux 编程LinuxEclipseMySQLBashGCC 在linux下的编程,毫无疑问的迟早都要用到LD_LIBRARY_PATH这个环境变量,不过这个环境变量是基于shell的,也就是说只有在当前设置了的shell里才会有作用,因此每次打开新的shell运行程序不停地设置LD_LIBRARY_PATH,是一件非常麻烦的事情,所以我们就会想有不有什么一劳永逸地方转载 2014-08-12 15:17:14 · 10976 阅读 · 0 评论 -
Mysql的rpm的安装(原)
下面简单介绍下Linux操作系统中安装MySQL RPM包的过程,希望对大家有所帮助!首先检测Linux操作系统中是否安装了MySQL rpm -q mysql*;如果有则删除rpm -e --nodpes mysql*;然后安装MySQLrpm -ivh MySQL-server-5.0.22-0.i386.rpm(我的版本); 安装原创 2014-08-07 10:59:59 · 1602 阅读 · 0 评论 -
mysql主从复制(转)
mysql主从复制(超简单) 2012-02-27 15:31:02标签:数据库mysql 主从 休闲 slave 原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://369369.blog.51cto.com/319630/790921mysql主从复制(超简单)怎么安装mysq转载 2014-08-27 13:47:26 · 949 阅读 · 0 评论 -
mysql 用户管理和权限设置(转)
mysql 用户管理和权限设置用户管理mysql>use mysql;查看mysql> select host,user,password from user ;创建mysql> create user zx_root IDENTIFIED by 'xxxxx'; //identified by 会将纯文本密码加密作为散列值存储修改mysq转载 2014-08-27 15:26:39 · 564 阅读 · 0 评论 -
Windows和Linux环境下Memcached安装与配置(转)
Windows和Linux环境下Memcached安装与配置一、memcached安装配置windows平台安装1、memcached-1.2.6-win32-bin.zip下载地址:http://code.jellycan.com/memcached/,执行memcached.exe -d install 安装。2、守护进程方式启动:memcached.exe -m转载 2014-08-27 14:12:37 · 1109 阅读 · 0 评论 -
Mysql之Percona(1)版本5.6.10二进制tar方式安装手册(原) .
安装包: 下载地址:http://www.percona.com/redir/downloads/Percona-Server-5.5/Percona-Server-5.5.18-23.0/binary/linux/i686/Percona-Server-5.5.18-rel23.0-203.Linux.i686.tar.gz 命令步骤: shell> groupad原创 2014-08-13 15:41:38 · 2408 阅读 · 0 评论 -
mysql -u root -p 等这些常用的参数
mysql -u root -p 等这些常用的参数一,mysql命令行参数Usage: mysql [OPTIONS] [database] //命令方式 -?, --help //显示帮助信息并退出 -I, --help //显示帮助信息并退出 --auto-rehash //自动补全功能,就像linux转载 2014-08-05 13:41:20 · 10711 阅读 · 0 评论