cojm55771-CSDN博客

转载【Redis】获取没有设置ttl的key脚本

一前言在运维Redis的时候，总会遇到使用不规范的业务设计，比如没有对key设置ttl，进而导致内存空间吃紧，通常的解决方法是在slave上dump 出来所有的key ，然后对文件进行遍历再分析。遇到...

2018-04-27 10:25:08 707

转载【MySQL】死锁案例之八

一前言死锁其实是一个很有意思也很有挑战的技术问题，大概每个DBA和部分开发朋友都会在工作过程中遇见。关于死锁我会持续写一个系列的案例分析，希望能够对想了解死锁的朋友有所帮助...

2018-03-28 11:19:43 486

转载【MySQL】死锁案例之七

一前言死锁，其实是一个很有意思也很有挑战的技术问题，大概每个DBA和部分开发同学都会在工作过程中遇见。关于死锁我会持续写一个系列的案例分析，希望能够对想了解死锁的朋友有所帮助。二 ...

2018-03-27 23:07:34 469

转载【MySQL】死锁案例之六

一前言死锁，其实是一个很有意思也很有挑战的技术问题，大概每个DBA和部分开发同学都会在工作过程中遇见。关于死锁我会持续写一个系列的案例分析，希望能够对想了解死锁的朋友有所帮助。二案例分析...

2018-03-27 23:06:28 223

转载 Redis 删除1.2亿指定前缀的key

背景因为更换IDC的原因，我们需要迁移缓存到新的机房，开发同学提出老的缓存有1.2亿无效(未设置过期时间)的key和正常在用的业务key，在迁移之前可以先指定前缀将key删除。那么问题来了,如何快速删除1.2...

2018-03-11 10:34:25 469

转载开启自己的微信公众号了

自己想开通微信公众号很久了，一直“懒”没有付诸实践，国庆节在家写了很多文章，但是没有及时审核，于是乎重燃开始写微信公众号的念头。好处之一是可以及时发送自己的写的文章，每天一篇对于现在的我来说已经很满足了，...

2017-10-18 23:39:16 149

转载【MySQL】漫谈死锁

一前言死锁是每个MySQL DBA 都会遇到的技术问题，本文自己针对死锁学习的一个总结,了解死锁是什么，MySQL如何检测死锁，处理死锁，死锁的案例，如何避免死锁。二死锁死锁是并发系统中常见的问题...

2017-10-08 02:20:11 132

转载【Python】python内置函数介绍

一前言在编写Python 程序或者工具脚本时，需要完成某个功能，可以选择编写一个具体的函数达到目的，当然也可以通过匿名/Python 内建函数来完成。本问讲述常见的Python匿名、内建函数---lambda,map...

2017-10-04 20:18:05 157

转载有赞MySQL自动化运维之路—ZanDB

一、前言在互联网时代，业务规模常常出现爆发式的增长。快速的实例交付，数据库优化以及备份管理等任务都对DBA产生了更高的要求，单纯的凭借记忆力去管理那几十套DB已经不再适用。那么如何去批量管理这些实例的备...

2017-09-29 23:59:55 250

转载【MySQL】如何阅读死锁日志

一前言工欲善其事必先利其器，前面分析了很多死锁案例，并没有详细的介绍如何通过死锁日志来诊断死锁的成因。本文将介绍如何读懂死锁日志，尽可能的获取信息来辅助我们解决死锁问题。二日志分析2.1 场景为了更好...

2017-09-18 22:56:28 829

转载【MySQL】死锁案例之四

一前言死锁，其实是一个很有意思，也很有挑战的技术问题，大概每个DBA和部分开发同学都会在工作过程中遇见过。关于死锁我会持续写一个系列的案例分析，希望能够对想了解死锁的朋友有所帮助。本文介绍一例三个并发insert 导...

2017-09-18 12:03:57 176

转载【MySQL】死锁案例之一

一前言死锁，其实是一个很有意思，也很有挑战的技术问题，大概每个DBA和部分开发同学都会在工作过程中遇见过。关于死锁我会持续写一个系列的案例分析，希望能够对想了解死锁的朋友有所帮助。二案例分析2.1 环境说...

2017-09-17 21:23:42 149

转载【MySQL】死锁案例之二

一前言死锁，其实是一个很有意思，也很有挑战的技术问题，大概每个DBA都会在工作过程中遇见过。关于死锁我会持续写一个系列的案例分析，希望能够对想了解死锁的朋友有所帮助。本文源于我们的生产案例:并发申请gap锁导致的...

2017-09-17 21:22:19 125

转载【MySQL】死锁案例之三

一前言死锁，其实是一个很有意思，也很有挑战的技术问题，大概每个DBA和部分开发朋友都会在工作过程中遇见过。关于死锁我会持续写一个系列的案例分析，希望能够对想了解死锁的朋友有所帮助。二背景知识2.1 i...

2017-09-17 18:36:10 660

转载【MySQL】浅谈一致性读

一前言 MySQL 在不同的事务隔离级别下提供两种读模式一致性读(非加锁),当前读(加锁读)。当前读比较简单，本文主要研究一致性读取。二原理概念官方概念 "A consisten...

2017-09-05 22:19:02 239

转载【MySQL】使用innobackup 2.4遇到的问题

一前言 Percona公司发布 innobackup 2.4 版本已经很久了，增加了新的特性比如xtrabackup支持非Innodb表备份，指定 --safe-slave-backup，增加备份的一致性，最重要的一...

2017-08-27 20:28:24 358

转载【MySQL】浅析interactive_timeout和wait_timeout

一前言这篇文章源于自己一个无知的提问，作为一个DBA 老鸟，实在汗颜。如图，修改wait_timeout参数之后并没有及时生效，于是乎去跑到技术支持群里问了。。ps 应该去查g.cn 才对。。本文通过...

2017-08-16 23:50:13 314

转载【Redis】Sentinel 高可用架构

一前言 Redis-Sentinel是Redis官方推荐的高可用性(HA)解决方案，当用Redis做Master-slave的高可用方案时，假如master宕机了，Redis本身(包括它的很多客户端)都没有实现自动进行...

2017-08-02 00:00:00 223

转载【Python】模块 fileinput

一简介 fileinput是python 提供的一个可以快速遍历，修改一个或者多个文件的模块。我们可以使用该模块进行文本替换并做文件备份。二使用2.1 使用方法fileinput.input (file...

2017-07-30 10:59:30 151

转载【Python】格式化字符串输出

一简介 python 字符串输出格式化有两种方式 %[s,d,] ,python 2.6 版本提供了string.format()，其功能也相当强大。talk is cheap，show me the code ....

2017-07-29 21:20:13 129

转载【Python】*args 和 **kwargs的用法

一简介*args 和 **kwargs 主要用于函数定义。当我们需要定义的函数的传入参数个数不确定时，可以使用*args 和 **kwargs 代替不确定的参数个数。其实并不是必须写成*args 和**kwargs。只...

2017-07-16 23:25:22 120

转载【Python】map函数

一简介 Python 内置了很多非常有用的函数比如map() ,reduce(),filter(),还有lambda。熟练应用这些函数可以在写python程序的时候构建精简的代码。本文先来了解map函数。二使用...

2017-07-16 13:00:25 109

转载【Shell】sort 笔记

写底层代码的时候，经常使用sort命令对文件或者文本进行排序，本文对sort做简单记录作为学习笔记。sort 的功能是将文件/文本的每一行作为一个单位，相互比较，比较原则是从首字符向后，依次按ASCII码值进行比较，最后将他们按...

2017-07-15 23:32:19 88

转载【Python】浅谈 multiprocessing

一前言使用python进行并发处理多台机器/多个实例的时候，我们可以使用threading ，但是由于著名的GIL存在，实际上threading 并未提供真正有效的并发处理，要充分利用到多核CPU，我们需要使用多进程...

2017-07-02 21:52:42 120

转载【MySQL】数据安全性讨论思维导图

一前言和团队内部的同事一起沟通，讨论了MySQL 数据库系统数据安全性问题，主要针对MySQL丢数据库的场景，主从不一致的场景，还有业务层面使用不得当导致主备库数据结构不一样的情况，本文是基于以上的讨论和总结...

2017-06-10 15:30:48 255

转载【Python】基于pymysql的数据库操作类

一简介 Python和MySQL交互的模块有 MySQLdb 和 PyMySQL(pymysql),MySQLdb是基于C 语言编写的，而且Python3 不在支持MySQLdb 。PyMySQL是一个纯Pytho...

2017-06-10 12:10:58 172

转载【Python】如何获取知乎最有价值的内容

一前言相信大部分能看到这篇blog的人都听说过知乎吧？如果你没有听说过，那么链接在这里知乎作为一个知乎er，为了更加深入的理解“xxx 是一种什么体验”（的图片），为了践行 “技术改变生活”（实则有些wu...

2017-05-06 23:45:33 179

转载【工具】一款基于go语言的agent

一介绍在构建数据库自动化运维系统的时候，数据库服务器上必须要有一个agent来执行web服务器端发起的命令，我们研究了好几种技术Celery，Redis Queue 或者基于socket实现，当然还有自己写，因为...

2017-05-05 23:08:37 655

转载【Python】浅谈装饰器

一装饰器是什么装饰器是一个用于封装函数或者类的代码工具，显式地将封装器作用于函数或者类上，达到程序运行时动态增加功能的目的。对于函数运行前处理常见前置条件(常见的web登陆授权验证)，或者在函数执行之后做善后工作(比...

2017-05-01 19:11:38 241

转载【Python】基于Django Web开发清单

一简介最近在和同事一起开发一套数据库管理平台，该平台使用Django 作为web 框架。和大多数数据库管理平台一样，该平台提供备份，恢复，申请实例，实例上下线以及数据质量对比等功能。本文主要是记录开...

2017-04-23 22:08:37 171

转载【Python】浅谈python中的json

一前言最近一直在做开发相关的工作--基于Django的web 平台，其中需要从model层传输数据到view 层做数据展示或者做业务逻辑处理。我们采用通用的Json格式--Json(JavaScript Objec...

2017-04-21 00:46:33 93

转载【MySQL】如何构建高性能MySQL系统

一简介最近在压测新的存储，正好把工作过程中积累的对高性能MySQL相关的知识体系构建起来，做成思维导图的方式。总结乃一家之言，有不妥之处，望给位读者朋友指正。二思维导图构建高性能MySQL系统涵...

2017-04-09 21:35:01 98

转载【MySQL】varbinary 真的比varchar 更合适？

一前言在讨论数据表字段设计的时候，有同学提出使用vabinary 代替 varchar ,部分开发不明所以,其实我也是。两者之间具体有什么区别？使用vabinary 代替 varchar 对业务有何优势？本文尝试从...

2017-03-11 00:42:42 1902

转载【工具】MySQL 安装利器---Sandbox

一 sandbox是什么？MySQL Sandbox是一个非常简单快捷的安装搭建MySQL实例的工具，它可以非常快速地满足我们对MySQL环境各种需求:单机实例，主从，一主多从等等架构(区别于自己安装MySQL 软件)。比如...

2017-02-25 01:33:17 286

转载【MySQL】5.7新特性之七

写在前面本系列文章基于 5.7.12 版本讲述MySQL的新特性。从安装，文件结构，SQL ,优化，运维层面复制，GITD等几个方面展开介绍 5.7 的新特性和功能。同时也建议大家跟踪官方blog和官方文档，以尽快...

2017-02-19 14:45:58 199

转载【MySQL】mydumper工具介绍

一前言大家对于MySQL的逻辑备份工具mysqldump应该都比较了解，相对于mysqldump，本文介绍一款由MySQL ,Facebook 等公司的开发维护另外一套逻辑备份恢复工具---mydumper/myl...

2017-01-20 22:47:41 159

转载【MySQL】Too many connections 案例一则

一前言 DBA 运维就是填坑的过程，其他人挖坑，自己填；自己挖坑，自己填，说多了都是泪。好吧言归正传，今天凌晨忙碌了一个通宵做IDC 交互机维护改造以及升级数据库服务器的事情，需要重启服务器。重启完成OS和重新部署数...

2017-01-10 23:29:08 87

转载【工具】sysbench 0.5 简介

一前言因为在准备做压力测试方面的工作，看到sysbench 目前最新的版本是0.5 ，相比之前的0.4的版本，最大的变化是 test 参数的改变，在压测MySQL时，新版本中test将取值为 lua脚本，该种方式给压测...

2017-01-08 18:47:15 126

转载【MySQL】恢复误操作的方法

一前言本周接二连三的出现开发人员在测试环境和生产误操作导致数据库误删除/更新，对DBA而言，回滚数据着实是一件头疼的事情，凡涉及到恢复线上数据必然对应用带来一定的影响。大多数情况是开发误操作delete数据，updat...

2017-01-07 18:36:46 278

转载【MySQL】InnoDB锁机制之二

一前言之前的文章《InnoDB锁机制之一》介绍了InnoDB锁中的三种锁:record lock, gap lock,next-key lock ，本文继续介绍另外两种锁 Insert Intention Locks...

2017-01-05 14:08:13 87

空空如也

空空如也