2018年07月_上海阿丽

08月 07月

原创 python备份binlog

mysql备份每天进行一次全备份，服务器故障后，没有binlog的情况下，存在一天的数据丢失情况，所以每一小时或几小时备份binlog到备份服务器。当然，有主从可不备份binlog。#!/usr/bin/python#--*-- coding:utf-8 --*--import osimport timeimport loggingfrom datetime import da...

2018-07-30 14:31:59 445

原创 python备份mysql

#!/usr/bin/python#--*-- coding:utf-8 --*--import osimport timeimport loggingimport MySQLdb as mdbfrom datetime import datetime# LOG INFOlog='/data/scripts/logs/'isExists = os.path.exists(l...

2018-07-30 14:12:37 877

原创 python还原SQL Server

1、还原数据库resore_db.py# coding=utf-8import os,sys,time,random,datetimefrom base.db import MSSQLfrom base.logger import logger# 分隔符delimiter = "-" * 100# 日志logname = os.path.basename(sys.argv...

2018-07-30 14:04:32 885

原创 python收缩SQL Server事务日志

开发测试环境日志文件没有定期维护，越来越大，甚至比数据文件还大，所以定期进行日志收缩：def shrinklog(ip,mark): ms = MSSQL(host=ip,user="dumper",pwd="123456",db="master") # 要收缩数据库 query = "SELECT name FROM Master..SysDatabases Whe...

2018-07-30 13:51:06 302

原创 python多线程备份SQL Server事务日志

python连接SQL Server需要pymssql，安装pymssql参考https://mp.csdn.net/postedit/81283149#--*-- coding:utf-8 --*--# 备份SQL Server事务日志，每小时一次import os,time,loggingimport pymssqlimport threadingfrom datetime ...

2018-07-30 13:20:14 278

原创 pymssql for linux

linux连接SQL Server，pymssql安装包下载，链接：https://pan.baidu.com/s/1zXyhvatpoaFRpcptmv0reA 密码：y3w1安装如下：yum install python-devel -ytar zxf pytz-2018.4.tar.gz cd pytz-2018.4python setup.py installcdta...

2018-07-30 13:13:32 705

原创 python多线程备份SQL Server

依赖:pyhon 2.7 pymssql 依赖包下载及安装，链接：https://pan.baidu.com/s/1B-kNbNGPcWcpoIzql7TKuQ 密码：ikzxt备份脚本如下：#--*-- coding:utf-8 --*--# 多线程备份所有SQL Server数据库（有多少服务器就开多少个线程）# 周日全备份，其它时间差异备份，事务日志备份工作日每小时备份一...

2018-07-30 12:48:14 858

原创 kafka-manger监控部署

部署了maxwell后，监控kafka的producer maxwell及consumer消费情况。提前：修改kafka-server-start.sh并重启kafka，添加export JMX_PORT="9999"，如下：if [ "x$KAFKA_HEAP_OPTS" = "x" ]; thenexport KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"...

2018-07-30 11:44:00 316

原创抽取mysql binlog--maxwell部署

业务需求，抽取mysql数据到kafka，然后到es或hbase。相比canal，maxwell相对简单。版本1.14.41、前提1）mysql配置server_id，开启row格式的binlog2）kafka配置listeners最好使用ip，否则出现产生数据到kafka或到kafka后无法消费情况listeners=PLAINTEXT://192.168.104.104:9...

2018-07-30 11:16:04 2164 4