wangli_Cric_CSDN博客-Mysql,Oracle,MongoDB领域博主

原创 sqlserver varchar(max)性能问题

同一个站点下有多个项目，其中一个项目的页面空白，且后台报错如下：2018-08-23 15:38:52,811 [66] ERROR logerror - 【Error】:System.Data.Entity.Core.EntityCommandExecutionException: An error occurred while executing the command definit...

2018-08-28 11:28:03 7878

原创 python备份binlog

mysql备份每天进行一次全备份，服务器故障后，没有binlog的情况下，存在一天的数据丢失情况，所以每一小时或几小时备份binlog到备份服务器。当然，有主从可不备份binlog。#!/usr/bin/python#--*-- coding:utf-8 --*--import osimport timeimport loggingfrom datetime import da...

2018-07-30 14:31:59 263

原创 python备份mysql

#!/usr/bin/python#--*-- coding:utf-8 --*--import osimport timeimport loggingimport MySQLdb as mdbfrom datetime import datetime# LOG INFOlog='/data/scripts/logs/'isExists = os.path.exists(l...

2018-07-30 14:12:37 646

原创 python还原SQL Server

1、还原数据库resore_db.py# coding=utf-8import os,sys,time,random,datetimefrom base.db import MSSQLfrom base.logger import logger# 分隔符delimiter = "-" * 100# 日志logname = os.path.basename(sys.argv...

2018-07-30 14:04:32 499

原创 python收缩SQL Server事务日志

开发测试环境日志文件没有定期维护，越来越大，甚至比数据文件还大，所以定期进行日志收缩：def shrinklog(ip,mark): ms = MSSQL(host=ip,user="dumper",pwd="123456",db="master") # 要收缩数据库 query = "SELECT name FROM Master..SysDatabases Whe...

2018-07-30 13:51:06 160

原创 python多线程备份SQL Server事务日志

python连接SQL Server需要pymssql，安装pymssql参考https://mp.csdn.net/postedit/81283149#--*-- coding:utf-8 --*--# 备份SQL Server事务日志，每小时一次import os,time,loggingimport pymssqlimport threadingfrom datetime ...

2018-07-30 13:20:14 147

原创 pymssql for linux

linux连接SQL Server，pymssql安装包下载，链接：https://pan.baidu.com/s/1zXyhvatpoaFRpcptmv0reA 密码：y3w1安装如下：yum install python-devel -ytar zxf pytz-2018.4.tar.gz cd pytz-2018.4python setup.py installcdta...

2018-07-30 13:13:32 434

原创 python多线程备份SQL Server

依赖:pyhon 2.7 pymssql 依赖包下载及安装，链接：https://pan.baidu.com/s/1B-kNbNGPcWcpoIzql7TKuQ 密码：ikzxt备份脚本如下：#--*-- coding:utf-8 --*--# 多线程备份所有SQL Server数据库（有多少服务器就开多少个线程）# 周日全备份，其它时间差异备份，事务日志备份工作日每小时备份一...

2018-07-30 12:48:14 641

原创 kafka-manger监控部署

部署了maxwell后，监控kafka的producer maxwell及consumer消费情况。提前：修改kafka-server-start.sh并重启kafka，添加export JMX_PORT="9999"，如下：if [ "x$KAFKA_HEAP_OPTS" = "x" ]; thenexport KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"...

2018-07-30 11:44:00 187

原创抽取mysql binlog--maxwell部署

业务需求，抽取mysql数据到kafka，然后到es或hbase。相比canal，maxwell相对简单。版本1.14.41、前提1）mysql配置server_id，开启row格式的binlog2）kafka配置listeners最好使用ip，否则出现产生数据到kafka或到kafka后无法消费情况listeners=PLAINTEXT://192.168.104.104:9...

2018-07-30 11:16:04 1777 4

原创源码安装xtrabackup

1、安装依赖包tar zxf cmake-3.4.1.tar.gzcd cmake-3.4.1./configuremakemake install gzip -d libev-4.22.tar.gz tar xf libev-4.22.tar cd libev-4.22 ./configure make make install rpm -ivh

2016-05-12 19:14:49 947

原创 xtrabackup恢复脚本

#!/bin/sh## recover scripts: need one input parameter--the absolutely path of full backup or incr backup# execute repeatablely# base-on xtrabackup 2.3.3# MYSQL environment variableexport MYSQL

2016-05-12 18:55:33 426

原创 xtrabackup备份脚本

#!/bin/sh##backup MYSQL db base-on xtrabackup 2.3.3# MYSQL environment variableexport MYSQL_BASE=/home/mariadb export MYSQL_HOME=$MYSQL_BASE/product/10.1/mariadb-1export DATADIR=$MYSQL_BASE/dat

2016-05-12 18:53:46 700

原创 Atlas分表

tlas在库内完成分表，使用参数tables指定tables = test.tb1.id.3首先创建三张结构完成相同的子表tb1_0、tb1_1、tb1_2CREATE TABLE `tb1_0` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(255) DEFAULT NULL, `age` int(11) DEF

2016-04-22 11:57:46 2422 2

转载 Atlas参数说明

/usr/local/atlas/conf/test.conf[mysql-proxy]#带#号的为非必需的配置项目#管理接口的用户名admin-username = user#管理接口的密码admin-password = pwd#Atlas后端连接的MySQL主库的IP和端口，可设置多项，用逗号分隔proxy-backend-addresse

2016-04-22 10:03:23 1821

原创 Atlas安装部署---读写分离

安装依赖包tar zxf libffi-3.0.11-rc2.tar.gz cd libffi-3.0.11-rc2mkdir /usr/local/libffi./configure --prefix=/usr/local/libffi/makemake installxz -d glib-2.32.4.tar.xz tar xf glib-2.32.4.tar cd g

2016-04-22 10:01:04 1907

原创 undefined reference to 解决

源码安装mysql中间件atlas，make时报错./.libs/libmysql-proxy.so: undefined reference to `EVP_CIPHER_CTX_init'./.libs/libmysql-proxy.so: undefined reference to `EVP_DecodeFinal'./.libs/libmysql-proxy.so: undefi

2016-04-21 18:04:24 7082

原创 mysql-proxy安装报错

1、configure时不添加LDFLAGS="-L/home/mariadb/product/10.1/mariadb-1/lib -lm -ldl" ，报如下错误make[3]: *** [c-api-burst] Error 1make[3]: Leaving directory `/root/mysql-proxy-0.8.5/tests'make[2]: *** [all-recur

2016-04-19 19:00:23 1342 2

原创 mysql-proxy安装

作为官方提供的mysql中间件，可以实现负载均衡、读写分离，但不支持大数据量的分库分表。安装依赖包1、安装luamkdir /usr/local/luatar zxf lua-5.1.5.tar.gzcd lua-5.1.5vi Makefile INSTALL_TOP= /usr/local改为INSTALL_TOP= /usr/local/luavi src/Makef

2016-04-19 18:48:06 952

原创 mongodb分片

新上的售后项目，领导要求使用mongodb分片，先进行下测试。一台服务器上，3个路由节点+3个配置节点+4个副本集（每个副本集包括1主+1从+1仲裁），共18个节点。1、解压tar zxf mongodb-linux-x86_64-rhel62-3.2.1.tgz cd mongodb-linux-x86_64-rhel62-3.2.1mkdir /usr/local/mongodb

2016-03-02 16:53:53 388

原创安装mariadb galera 10.0.22（二进制）

galera集群共三个节点，192.168.10.1/2/3分别为节点1、2、31、依赖的包rpm -ivh nmap-7.01-1.x86_64.rpm rpm -ivh nc-1.84-22.el6.x86_64.rpmrpm -ivh galera-25.3.9-1.rhel6.el6.x86_64.rpmtar zxf socat-2.0.0-b8.tar.gz cd

2016-03-01 18:16:39 1544

原创 ogg同步mysql(mariadb5.5)数据到oracle

之前同步oracle到mariadb5.5，mariadb到mariadb，ogg版本都是12.1，比较顺利。这次将mariadb5.5的数据同步到oracle，因为源使用的ogg12.1，而目标使用的ogg11.2，两个不同版本，所以搞了很长时间。因为是从高版本到低版本，需要在抽取进程和传递进程中分别添加：format release 11.2，如下：view param odce1e

2016-01-13 15:41:15 2596

原创 Mysql慢查询日志分析工具

Anemometer工具将慢查询日志中语句存储到数据库中，并生成报告。安装PHP相关服务及perl语言相关模块（http://blog.csdn.net/u010587433/article/details/50339377），并开启http服务。同时需要安装Percona Toolkit工具（http://blog.csdn.net/u010587433/article/details/

2015-12-17 11:42:00 1791

原创安装Perl语言模块

/usr/bin/cpanm 文件：http://download.csdn.net/detail/u010587433/9363777more installperl.sh#!/bin/bashchmod 755 /usr/bin/cpanmcat > /root/list << EOFinstall Algorithm::Diffinstall Class::Singleton

2015-12-17 11:38:58 1087

原创安装Percona Toolkit工具

Percona Toolkit包含pt-stalk（监控）、pt-pmp（堆栈信息）、pt-query-digest（生成慢查询报告）等各种功能。对服务器和Mysql的监控、故障分析和性能调整等很有帮助。安装很简单，下载http://download.csdn.net/detail/u010587433/9363361解压安装tar zxf percona-toolkit-2.2.

2015-12-17 10:24:32 919 2

转载查询Mysql未使用的索引

在mysql中如何找出未使用或使用次数很少的索引，这样文章比较多，但很少文章提到用这些方法存在的风险。 http://www.mysqlperformanceblog.com/2012/06/30/find-unused-indexes/ http://www.mysqlperformanceblog.com/2012/12/05/quickly-finding-unused-in

2015-12-15 18:47:14 1990

转载 Oracle官方文档

oracle不同版本的官方文档在线参考和打包下载地址汇总，罗列在这里，供你我参考。1.9i Oracle官方文档1）在线浏览http://www.oracle.com/pls/db92/homepage2）下载在手，参考无忧Oracle9i Database Release 1 (9.0.1) Documentationhttp://www.oracle.com/tec

2015-12-14 11:35:05 595

原创 Mysql自增异常

在做mysql到mysql的ogg同步，测试时不小心在一张表的自增字段上随便输入了222222，结果使得之后插入此id列从222223开始。然后业务人员就过来找我，问我怎么回事。如：当前id为97，然后手动输入下一个值222222，再插入值时id列为222223、222224。。。不过处理很简单：1、备份一下刚插入的几条异常id的记录，然后删除2、更改一下自增值：alter table

2015-11-05 15:50:05 758

原创 Mariadb审计

与不同Mysql的是，Mariadb审计插件不用单独下载，直接安装即可。MariaDB [(none)]> INSTALL PLUGIN server_audit SONAME 'server_audit';查看安装的插件MariaDB [(none)]> show plugins;+--------------------------------+--------+----------

2015-11-05 11:33:00 783

原创 Mysql审计

今天有个库被人误操作，更新时没加条件，结果全表都更新了。所以业务人员要求添加审计。Mysql有一个插件来实现，需要单独下载。1）下载：https://bintray.com/mcafee/mysql-audit-plugin/release2）解压后将libaudit_plugin.so文件拷贝到$MYSQL_HOME/lib/plugin3）然后安装即可mysql> INSTAL

2015-11-04 21:55:42 1068

原创 Mysql主从复制报错Last_Errno: 1305

Mysql主从复制某些库表时总出现各种问题，之前根据业务配置的只张同步的表如下（作用同replicate_do_table）：replicate_wild_do_table=me.parana_brandsreplicate_wild_do_table=me.parana_itemsreplicate_wild_do_table=me.parana_ordersreplicate_wil

2015-10-22 22:43:55 6229

原创 Goldengate报错之ERROR OGG-06551

goldengate所有进程都可以启动，但日志一直报错2015-10-21 12:20:37 INFO OGG-00963 Oracle GoldenGate Manager for MySQL, mgr.prm: Command received from EXTRACT on host [10.128.11.90]:53885 (START SERVER CPU -1 PRI

2015-10-21 17:06:53 2659

原创 Goldengate之Mysql到Mysql的同步

使用Goldengate完成Mysql到Mysql的数据同步，源库的o2m-mc库同步到目标库的gmdc库，表名GMQDSJSP1、初始化mysql1）目标库创建数据库mysql> create database gmdc;2）导入数据将源库表GMQDSJSP数据导出，然后导入到目标库中mysqldump -uroot -p123456 --single-transac

2015-10-21 16:30:24 5068 5

原创 Mysql只同步某些表

只同步bbp库的t_csp表replicate_do_table=bbp.t_csp同样要同步多个表，则需要指定多个replicate_do_table，如同步t_csp和md_goods_type表replicate_do_table=bbp.t_cspreplicate_do_table=lmis.md_goods_type或者指定replicate-wild-do-tabl

2015-10-20 18:53:46 3607

原创 Mysql只同步某些库

1、同步某些库只能同步bbp库replicate_do_db=bbp如果要同步多个库，则需要指定多个replicate_do_db，如同步bbp和lmis库replicate_do_db=bbpreplicate_do_db=lmis只同步某些库，会涉及跨库操作无法同步的问题：1）在其它库中或者没有选择数据库，则从库不会执行例如：主库中在mtms库中操作bbp库的数据

2015-10-19 16:36:12 2204

原创 Redis安装部署

Redis安装包小，安装简单1）解压后编译安装下载http://download.csdn.net/detail/u010587433/9182413tar xvf redis-2.8.12.tar.gzcd redis-2.8.12makemake install完成后，在/usr/local/bin目录下生成相关命令文件: redis-server：启动程序

2015-10-16 17:54:41 276

原创 Mariadb安装部署

领导怕mysql以后收费，现在有几个系统开始使用mariadb了。但与msql没有什么区别。要求5.x版本，下载的源码包，根据规范安装如下：1）安装cmake编译安装，需要cmake编译，所以先下载安装cmake（http://download.csdn.net/detail/u010587433/9187285）tar xzf cmake-2.8.11.2.tar.gzcd c

2015-10-16 17:43:53 492

原创 ERROR 2006 (HY000): MySQL server has gone away

通过amoeba连接mysql时报错（端口3306改为8066即可）mysql -uroot -h127.0.0.1 -P8066 -p123456mysql> show databases;ERROR 2006 (HY000): MySQL server has gone awayNo connection. Trying to reconnect...Connection id:

2015-10-15 18:07:11 874

原创通过Amoeba连接Mysql

安装好amoeba后，启动修改两个文件，amoeba-mysql-binary-2.2.0/conf目录下dbServers.xml和amoeba.xml（即设置下mysql连接密码）vi dbServers.xml改为（其中为注释，要去掉）

2015-10-15 17:54:19 1073

原创 Amoeba for mysql安装配置

Amoeba基于java，所以首先要安装JDKmkdir /usr/javatar zxvf jdk16.tar.gz -C /usr/javavi /etc/profileexport JAVA_HOME=/usr/java/jdk16export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_

2015-10-15 17:40:19 697