数据一致性校验（pt-table-checksum）完结

最新推荐文章于 2024-04-26 10:23:15 发布

秒变学霸的18岁码农

最新推荐文章于 2024-04-26 10:23:15 发布

阅读量490

点赞数

文章标签：数据库 java microsoft

本文链接：https://blog.csdn.net/2301_76957510/article/details/130756126

版权

--port	缩写 -P。连接的端口号。		int	连接
--progress	将进度报告打印到STDERR。该值是一个逗号分隔的列表，由两部分组成。第一部分可以是百分比、时间或迭代；第二部分指定更新的打印频率（以百分比、秒或迭代次数为单位）。	time,30	array
--quiet	缩写 -q。只打印重要信息。指定此选项一次将导致工具仅打印具有校验和差异的错误、警告和表。	0	累计值
--recurse	发现从库时在层次结构中递归的级别数。默认值是无限的。		int
--recursion-method	发现从库的递归方法。尽管运行工具不需要检查从库，但是工具不能检查未发现从库中的差异。可选值还有 cluster、dsn=DSN 、none。 dsn 比较特殊，需要创建特定表并写入数据库信息。	processlist,hosts	array
--replicate	将校验和结果写入指定表。默认情况下，--[no]create replicate table为true，因此如果选项不存在，则会自动创建它们。	percona.checksums	string
--[no]replicate-check	完成每个表后，检查副本中的数据差异。	yes
--replicate-check-only	在不执行校验和查询的情况下检查从库的一致性。
--replicate-check-retries	遇到差异时，重试校验和比较的次数。只有当此检查次数之后差异仍然存在时，才认为它有效。将此选项的值设置为2或更大可以缓解使用 –resume 选项时出现的虚假差异。	1	int
--replicate-database	只使用指定数据库存放校验结果表。		string
--resume	从最后完成的块恢复校验和。
--retries	当出现非致命错误时，请多次重试块。非致命错误是诸如锁等待超时或查询被终止等问题。	2	int
--run-time	设置执行校验和的总时间。默认执行完所有库表的校验和后终止。单位后缀有：s、m、h、d。通常与 --resume 结合使用，可以在分配时间内对尽可能多的表做校验和。		time
--separator	用于 CONCAT_WS() 的分隔符。此字符用于在校验和时联接列的值。	#	string
--skip-check-slave-lag	跳过检查某个从库的延迟，后面填写从库的 DSN。可以重复，每个从库前面要加一次该选项。		DSN
--slave-user	设置用于连接到从库的用户。		string
--slave-password	设置用于连接从属服务器的密码。它要与–slave user一起使用，并且所有slave上的用户密码必须相同。		string
--set-vars	在 var=value 对的逗号分割列表中设置 mysql 变量。如果无法设置变量，工具将打印警告并继续。		array	连接
--socket	缩写 -S。socket 文件。		string	连接
--slave-skip-tolerance	当主表被标记为仅在一个块中进行校验sum，但从表超过了该块的最大可接受大小时，将跳过该表。	1.0	float
--tables	缩写 -t。仅校验以逗号分隔的表列表的校验和。表名可以用数据库名限定。		hash	过滤器
--tables-regex	仅对名称与此Perl正则表达式匹配的表进行校验和。		string	过滤器
--trim	将 trim() 添加到 varchar 列。
--user	缩写 -u。登陆用户		string	连接
--[no]version-check	检查工具的版本号。		yes
--where	匹配指定的行，只校验部分数据

python 自动一致性校验脚本

db_consistent_check.py 折叠源码

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

174

175

176

177

178

179

180

181

182

183

184

185

186

187

188

189

190

191

192

193

194

195

196

197

198

199

200

201

202

203

204

205

206

207

208

209

210

211

212

213

214

215

216

217

218

219

220

221

222

223

224

225

#!/usr/bin/env python3

# -*- coding: UTF-8 -*-

'''=================================================

@Project -> File ：db_consistent_check -> db_consistent_check

@IDE ：PyCharm

@Author ：DingLu

@Date ：2020-02-24 12:27

@Desc ：mysql databases data consistent check

=================================================='''

"""

检查 ip port 是否是从库

如果是从库，则获取主库 ip port

检查 ip port 不是从库

如果是单实例

break

如果是主库

pass

"""

检查主从库 port 是否一致

一致

--recursion-method="processlist"

不一致

--recursion-method="hosts"

或

--recursion-method=dsn=D=xxx,t=xxx

"""

检查数据库参数

binlog_format 是否是 row

是

添加 --nocheck-binlog-format 选项

不是

pass

replication_do_db 空

--nocheck-replication-filters

"""

是否指定校验和存储表

是

--replicate=xxx

否

不添加

"""

是否指定数据库

是

--databases=xxx

否

不添加

"""

是否指定表

是

--tables

或

--tables-regex

否

不添加

"""

拼接命令

"""

import os

import sys

from lib.ssh_server import *

from lib.connect_MySQL import *

from lib.get_local_ip_addr import *

project_dir = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))

sys.path.append(os.getcwd().split(project_dir)[0] + project_dir)

class Db_Consis_Check(object):

"""

数据一致性校验

"""

def __init__(self, dic):

self.dic = dic

self.host = dic['host']

self.port = dic['port']

self.user = dic['myuser']

self.pwd = dic['mypwd']

def con_db(self):

"""

连接 db

:return: conn 对象

"""

db_conn = ConnectMySQL(self.dic)

return db_conn

def is_slave(self):

"""

是否为从库

:return: host_dic

"""

sql = "show slave status;"

slave_info_dic_list = self.con_db().execute_sql(sql)

if slave_info_dic_list:

slave_info_dic = slave_info_dic_list[0]

if slave_info_dic:

master_ip = slave_info_dic['Master_Host']

master_port = slave_info_dic['Master_Port']

self.dic['host'] = master_ip

self.dic['port'] = master_port

print(self.dic, "是从库")

return self.dic

def is_master(self):

"""

是否为主库

:return: host_dic

"""

sql = "show slave hosts;"

slave_hosts_dic_list = self.con_db().execute_sql(sql)

if not slave_hosts_dic_list:

print(self.host, "没有从库, 不能运行 pt-table-checksum")

return None

if slave_hosts_dic_list:

print(self.host, "是主库")

# 判断从库端口和主库是否一致，如果不一致需要添加 --recursion-method="hosts"

for dic in slave_hosts_dic_list:

if int(dic['Port']) != int(self.port):

print("从库", dic['Server_id'] , '与主库端口不一致，需要添加 --recursion-method="hosts"')

break

else:

pass

print("从库与主库端口一致")

return self.dic

def is_row_format(self):

sql = "show variables like 'binlog_format';"

format_dic_list = self.con_db().execute_sql(sql)

format_dic = format_dic_list[0]

if format_dic['Variable_name'] == 'binlog_format' and format_dic['Value'] == 'ROW':

print("行格式是 ROW，需要添加 --nocheck-binlog-format 选项")

return "--nocheck-binlog-format"

else:

return None

def is_repl_filter(self, repl_filter_flag):

"""

是否有复制过滤

:param repl_filter_flag: 过滤标志

:return: --nocheck-replication-filters

"""

if repl_filter_flag:

opt = "--check-replication-filters"

if not repl_filter_flag:

opt = "--nocheck-replication-filters"

print("没有过滤参数，可以添加 ", opt, "选项")

return opt

def allocate_dbs(self, dbs_name_string):

"""

指定校验db

:param dbs_name_string: db1,db2,dbn

:return: --databases=db1,db2,dbn

"""

opt = "--databases=" + dbs_name_string

print(opt)

return opt

def allocate_table(self, db_name_string, tables_name_string):

"""

指定表，一个或多个表

:param db_name_string: db1

:param tables_name_string: tb1,tb2,tbn

:return: --databases=db1 --tables=tb1,tb2,tbn

"""

if "," not in db_name_string:

# 指定了单个db

opt = "--databases=" + db_name_string + ' ' + "--tables=" + tables_name_string

return opt

elif "," in db_name_string:

print("检查指定表时，只能指定单个DB")

return None

def merge_cmd(self, *args, **kwargs):

# 拼接命令

opts = opt1 + " " + opt2 + " " + opt3 + " " + opt4

cmd_string = "pt-table_checksum " + opts + "h=" + self.host + ",u=" + self.user + ",p=" + self.pwd + ",P=" + str(self.port)

print(cmd_string)

return cmd_string

def run_cmd(self,cmd):

# 运行命令

local_ip = get_local_ip()

if self.host == local_ip:

# 本地执行

stdout = os.system(cmd)

return stdout

elif self.host != local_ip:

# 远程执行

obj2 = SshServer(self.dic, cmd)

remote_stdout = obj2.ssh_to_server()

return remote_stdout

if __name__ == '__main__':

host_dic = {'host': '172.16.250.29',

'port': 3306,

'uname': 'xxx',

'pwd': 'xxx',

'myuser': 'xxx',

'mypwd': 'xxx'}

obj = Db_Consis_Check(host_dic)

host_dic = obj.is_slave()

host_dic2 = obj.is_master()

if not host_dic2:

opt1 = obj.is_row_format()

opt2 = obj.is_repl_filter('')

opt3 = opt4 = ''

cmd = obj.merge_cmd(opt1, opt2, opt3, opt4)

obj.run_cmd(cmd)