ylqmf的专栏

原创 postgresql 定时vacuum脚本

# -*- coding: utf-8 -*-import pg,multiprocessinglst=[{"dbname":"postgres","host":"127.0.01","port":5432,"user":"postgres","passwd":"123456"},]def exe_job(item): try: db = pg.DB(dbn

原创 supervisord 启动后 ulimit 参数未生效

#!/bin/bash## supervisord This scripts turns supervisord on## Author: Mike McGrath (based off yumupdatesd)## chkconfig: - 95 04## description: supervisor is a process control util

原创 PostgreSQL basebackup备份

#!/bin/shlst=(127.0.0.1:5432:xm_rep:123456127.0.0.1:5432:xm_rep:123456)for item in ${lst[@]}do host=$(echo ${item} | awk -F':' '{print $1}') port=$(echo ${item} | awk -F':' '{p

原创 golang context.WithTimeout 超时处理

package mainimport ( "golang.org/x/net/context" "log" "math/rand" "time")func test(is_first *bool, prev_map *map[string]string) { rand.Seed(int64(time.Now().Nanosecond()))

原创 mysql checksum table golang

package mainimport ( "bytes" "database/sql" "fmt" _ "github.com/go-sql-driver/mysql" "io/ioutil" "regexp" "strconv" "strings" "sync")var wg sync.WaitGrouptype DBinfo struct { user

原创 暗黑破坏神 2 私服 sf 114.215.178.67

注册表REGEDIT4[HKEY_CURRENT_USER\Software\Blizzard Entertainment\Diablo II]"BNETIP"="114.215.178.67"1.11b 原版

原创 源码编译aerospike-server-3.6.4

生产环境一直使用3.5.3这个版本，和开发商量了一下，在测试环境使用3.6.4搭建集群，如果运行稳定就找机会将生产环境的集群升级。aerospike QQ群：419183757从github上下载源码包wget https://github.com/aerospike/aerospike-server/archive/3.6.4.zip编译前将依赖包安装全yum ins

转载 文章标题

本文转自：http://blog.csdn.net/songhuiqiao/article/details/50324139aerospike QQ群：419183757Distribution(分布) Aerospike数据库是为24/7运行、并能可靠处理大数据的应用程序提供的组件。开发应用程序时，你不必担心数据位于哪里。客户端自动发现数据位置并确保绝大多数请求处理是单跳的。应用程序可以视为数据

转载 aerospike init

本文转自：http://blog.csdn.net/songhuiqiao/article/details/50324109aerospike QQ群：419183757aerospike init(1) aerospike manual aerospike init(1)NAME aerospike init - initiali

转载 aerospike参考资料

本文转自：http://blog.csdn.net/songhuiqiao/article/details/50324073http://blog.csdn.net/jiashiwen/article/category/3090193如果您的企业依赖于： 庞大的数据量（超过任何结构化数据库所能处理的数据量） 可预见（且快速）的性能 透明的扩展 始终正常运行 那么您只有一个选择，那就是 Ae

原创 mac ox ssd 开启 trim

使用clover 补丁开启

原创 使用cgroup 限制进程的磁盘io

cat /etc/cgconfig.conf ##  Copyright IBM Corporation. 2007##  Authors:     Balbir Singh balbir@linux.vnet.ibm.com>#  This program is free software; you can redistribute it and/or modify it

原创 旅游

每次出游，我们自以为

原创 mysql 事务 rollback 失效

最近支付业务发生了一件怪事，在一个事务 失败后，调用rollback，发现只rollback 了最后一条sql。开发查了很久，发现是网络抖动，造成第一次创建链接的 begin 丢掉了，后面再重连后就变成autocommit了，这样就造成rollback的时候前面的sql 全都没有rollback。只能是在 begin 的时候加一个变量将应用服务器的时间戳打到mysql 服务器上，后

原创 回想当年 91d2 1588 神戒

quan

原创 docker init 起步

#yum installwgethttp://fedora.mirror.nexicom.net/epel/6/x86_64/epel-release-6-8.noarch.rpmyum -y install epel-release-6-8.noarch.rpmyum -y install docker-io#wget installyum install -y

原创 MySQL分组排序取前N条记录以及生成自动数字序列--group by 后 limit 外加 rownumber

同事提了一个需求，要求按照某列分组，然后将各组的前几条抽取出来。表结构CREATE TABLE `total_freq_ctrl` ( `time` int(10) unsigned NOT NULL, `machine` char(64) NOT NULL, `module` char(32) NOT NULL, `total_flow` int(10) unsigned

原创 backup mysql for xtrabackup with xbstream and lz4

需要临时为mysql添加一个实例，使用xtrabackup最简单快速。在现有数据节点上：/home/work/app/xtrabackup-2.2.3/innobackupex --ibbackup=/home/work/app/xtrabackup-2.2.3/xtrabackup --parallel=8 --defaults-file= ${BACKUP_CNF} --s

原创 golang tcp 2 unix socket proxy

想将mysql 的TCP 封死，所有外部链接由我的proxy来控制，so 写了一个 tcp 转 unix socket 的 proxy。package mainimport ( "os" "fmt" "net" "io" "sync" "time")type proxy struct{ Host string Port string Local string

原创 dell optiplex ubuntu 14.04 安装 NVIDIA 显卡驱动

公司配置的 dell optiplex使用核显带起双屏幕，玩dota2无法特效全开。so，在京东上买了一块750Ti。安装驱动的时候需要切换到ubuntu的全命令行模式，关掉桌面系统才能安装。这时候这个坑出现了，要想安装驱动，就必须进入全命令行模式，要想进入命令行模式必须有驱动。反复尝试后，发现只能用DP口带单屏幕才能成功。在这里特别记录下。嘎嘎

原创 go开发环境配置

remove golangsudo apt-get autoremove golangdownload golang 1.2.2wget http://golang.org/dl/go1.2.2.linux-amd64.tar.gztar zxf go1.2.2.linux-amd64.tar.gzmv go /home/work/app/go1.2.2vim /h

转载 公共 DNS 服务器 IP 地址

公共 DNS 服务器 IP 地址名称DNS 服务器 IP 地址CNNIC SDNS1.2.4.8210.2.4.8114 DNS114.114.114.114114.114.115.115阿里 DNS223.5.5.5223.6.6.6Google

原创 没有索引也可以快速查询

仓储系统有张表，4000万数据，按照创建时间清理。创建时间上没有索引，不过数据是按照创建时间一条条的insert的。这样就写了个脚本按照id升序每次处理2000个，然后删除掉。这样只要扫描到的数据满足时间条件，速度和有索引是一样的。一旦处理到不满足时间条件的数据，整个sql就会超时了，这样就不再处理，第二天再处理了满足条件的。没有索引一样快。

原创 TOO MANY LOCKS PRINTED FOR THIS TRX: SUPPRESSING FURTHER PRINTS

数据库中发现：TOO MANY LOCKS PRINTED FOR THIS TRX: SUPPRESSING FURTHER PRINTS同时R&D同学也抱怨经常锁等待超时。赶紧去看innodb status 怎么说：Trx read view will not see trx with id >= 4130470E, sees ---TRANSACTION 413041D4,

原创 求当前时间与当天零点的秒差。

SELECT MOD(UNIX_TIMESTAMP(NOW())+28800,86400),UNIX_TIMESTAMP(NOW())-UNIX_TIMESTAMP(DATE(NOW()))=====================求当前时间与当天零点的秒差。

转载 mongodb slow query analyzer

One of my favorite MySQL tools ever is pt-query-digest. It's the tool you use to generate a report of your slow query log (or some other supported sources), and is similar to for example the Query Ana

转载 异步和非阻塞

原文出处：http://cloudaice.com/nonblocking/同步和异步同步这个词在很多场景下都会出现，例如：我要把我的手机通讯录同步到云端。这个同步指的是要把两个对象中的数据保持一致的意思。实际的操作可能就是上传和下载。另外还有同步卫星，同步直播啊。这些概念都有保持一致或者保持实时的意思。而在程序编码领域，同步在不同地方表达的意思也有点偏差。在操作系统领域，同步表示进程

原创 mysqldump: Couldn't execute 'show events': Cannot proceed because system tables used by Event Schedu

最近将老版本的mysql 实例倒入 percona 5.5.30，使用的是线上的全备，结果将mysql 库下的表也倒入了，这下可悲剧了，备份报错。没办法，将mysql库下的数据倒出来，清空，再倒入percona的表结构，最后将数据重新灌进去，都不行，妥妥的要求重启。。。没辙只能启用切换，主备从一通切＋重启才搞定。

原创 MySQL 5.5 权限导出脚本

#!/bin/shbase_dir='/opt/soft/mysql'mysql_user='root'mysql_pwd='123456'mysql_socket='/tmp/mysql.sock'msyql_grants='/tmp/mysql_grants.sql'result=`${base_dir}/bin/mysql -u${mysql_user} -p${mysql_

原创 MySQL Replication and Time Zones

mysql使用 replication 做主从，如果从上添加触发器，insert 语句有 now（）时，需要在服务器启动项中添加default-time-zone。否则会引发时区问题。16.4.1.31. Replication and Time ZonesThe same system time zone should be set f

原创 MySQL update && select ,update的同时select，和for update 语句说再见。

MySQL update && selectCREATE TABLE `testupdate` (  `id` bigint(20) NOT NULL AUTO_INCREMENT,  `val` bigint(20) NOT NULL DEFAULT '0',  PRIMARY KEY (`id`)) ENGINE=InnoDB AUTO_INCREMENT=2 DE

原创 Percona Xtrabackup MySQL 全备

#!/bin/shBACKUP_TIME=`date +%Y-%m-%d-%H-%M-%S`BACKUP_SOCK=/tmp/mysql3306.sockBACKUP_CNF=/etc/my3306.cnfBACKUP_USER=userBACKUP_PWD=123456BACKUP_DB=employeesBACKUP_DIR=/data/backup/mysql/backup3

原创 星爷是文艺青年

最近上映的 泰囧、霍比特人。一个笑料百出，情节饱满。一个制作精良，恢弘大气。但是和星爷的 西游-降魔篇相比，还差了那么一点点，就那么一点点。我以为懂了，其实还不懂。

原创 javascript 16位 密码生成器 keymaker 16bit

工作中经常需要生成16位强密码给应用授权。以前在windows环境下使用keypass，目前公司不允许使用windows操作系统，特意写了一个生成器。 16bit keymake var rnd={}; rnd.size=16; rnd.list=['a','b','c','d','e','f','g','h','i','j','k','l','m','n','o','

原创 MySQL 5.5 keepalived + haproxy + MHA 自动容灾

vip 192.168.161.80mysql master 192.168.161.81mysql backup 192.168.161.82（haproxy master）mysql slave     192.168.161.83 （haproxy backup）keepalived安装：yum -y install ipvsadm openssl-devel l

转载 MySQL InnoDB内部结构图

原创 mongodb-2.2.2 with v8-3.16.9 and jemalloc-3.2.0 at centos5.X|6.X install 一键安装脚本

年底了，整理了一下mongodb安装脚本：mongodb-v2.2.2v8引擎-3.16.9jemalloc内存管理模块-3.2.0#tudou@xiaomi.com=>百度网盘下载链接csdn下载链接点击打开链接因为v8不在支持scons编译，这里只能使用gyp编译成动态链接库。另外使用jemalloc必须在启动mongod之前添加到环境变量中去。install.sh

原创 mysql unix_socket文件丢失处理 mysql.sock被删除

为了数据库安全，限制了mysql中root用户只能本地登录，其他用户不得拥有授权权限。结果悲剧了，登录到一台服务器上发现unix_socket文件不见了。root用户无法登陆。怎办？情急之下请出DBA用户伪造一个root@127.0.0.1，原地复活。mysql> select user,host,password from user;+----------+-----------+--

转载 ZooKeeper Commands

ZooKeeper Commands: The Four Letter WordsZooKeeper responds to a small set of commands. Each command is composed of four letters. You issue the commands to ZooKeeper via telnet or nc, at the client p

原创 java版tcp proxy

package com.xiaomi.dbproxy.action;import java.net.ServerSocket;import java.net.Socket;import java.util.Date;import java.util.List;import java.util.Random;import com.xiaomi.dbproxy.model.proxyS