疑难解决
文章平均质量分 72
工作心得原创精华文章
zping_6967
这个作者很懒,什么都没留下…
展开
-
我和我的DBA之路
做难事,必有所得。经常提醒自己,现在做的工作和项目,也许是自己此生做的最后一个该类型工作和项目,要倍加珍惜和用心!原创 2024-03-08 15:03:00 · 1081 阅读 · 1 评论 -
数据抽取平台pydatax介绍--实现和项目使用
因项目2中:数据仓库使用的GreePlum,datax的驱动用的是gpdbwriter-v1.0.4-hashdata.jar,该驱动自动删除"0x"非法字符,就不存在该错误。项目2: 客户有9个分公司,用的ERP有9套,有9个库,不同版本,抽取的同一个表字段长度有不一样,字段可能有多有少,客户ERP核心分公司ERP几个月后有大版本升级。# 获取分公司库该表的字段,如对比核心库表字段的缺失,使用null as 字段替换,如果多余则废弃,取9个库的最大值,作为目标表字段的字段长度。原创 2024-02-28 10:11:17 · 949 阅读 · 0 评论 -
数据抽取平台pydatax介绍
缘起一: 公司现有数据仓库,是通过kettle从mysql抽取到目标库,运行多年,主要有以下问题, 1,效率低:kettle抽取行数少 2,容错性差:一个表抽取出错就导致后续计算会出问题, 3,扩展性差: 对多库多表等支持不好 近300张表抽取,再加上计算,每天都算到7点,还有2个巨大的计算...原创 2024-02-21 15:58:00 · 880 阅读 · 0 评论 -
从数据库优化到治病(1)---做超越自己能力的事情
最近事情比较少,闲下来刚好可以对以前的事情做个总结。 这次总结是10年前的一次数据库优化,和5年前的一次右下腹通持续疼痛的治疗过程。 数据库优化的过程如下: 1、2011年2月--2011年7月数据库性能优化过程 时间有点久,但最深刻的是,出现CPU持续100%的时候,找不到具体原因? 什么原因? 可能大家...原创 2021-09-01 10:53:00 · 18 阅读 · 0 评论 -
用ELK分析每天4亿多条腾讯云MySQL审计日志(2)--EQL
上一篇介绍了用ELK分析4亿多条审计日志过程,现在介绍如何用Python3分析ES的程序 需要分析的核心库审计数据: 1,950多张表,几十个账号, 2,5种操作类型(select,update,insert,delete,replace),14个实例(1主13从库) 分析说明: select汇总: 必须包含from关键字:排除I...原创 2021-08-12 11:23:00 · 18 阅读 · 0 评论 -
Hibernate3.2 中使用视图优化HQL
这次在优化系统中,由于客户使用的SQL server 2005的标准版,此版本不支持分区功能,但如果不分区,系统优化的效果就不会很明显。后来使用了分区视图。 在系统中,没有使用对象关联,发现很多地方为查询信息,多次读取数据库。后来也用视图进行封装。 本文就讨论在Hibernate3.2如何配合使用数据库视图技术。 1, 使用分区视图 2, 使用视...原创 2008-08-04 17:09:00 · 20 阅读 · 0 评论 -
下车扫描五次优化全过程
下车扫描,业务部门一直反应慢,不稳定,程序不是报黄页就是运行慢,严重影响师傅使用,估计师傅心里一直"很想我们"。 第一次优化 和同事一起看了程序业务逻辑,觉得应该将整个扫描逻辑过程放到存储过程,一可以避免程序在交互中的影响,二可以提高性能。 修改完后,由于需要读取Sequence,在存储过程中需要运行下列命令来获取:SELECT @DeliveryItemStatusSys...原创 2011-09-19 18:56:00 · 14 阅读 · 0 评论 -
2011年2月--2011年7月数据库性能优化过程
开始暴露问题 2011年2月下旬的一天早上,昨天更新的系统,早上发现数据库的服务器CPU达到100%,而且持续的时间很长,不得回到昨天更新前的版本,但系统还是有较长时间达到100%的情况,问题没有解决,从这正式开始优化线上数据库性能。第一阶段优化 分析问题: 一开始老是想找出问题的原因,找了3天还没有头绪,列出以下原因: 1,JOB的耗时存储过程 --太频繁,执行时间长,...原创 2012-01-12 16:45:00 · 17 阅读 · 0 评论 -
Log表新的RowKey设计,预Split
1 目前Rawlog表的问题region数量庞大,空region 率大共有12791个region11409空region, 比例为89.19%剩余的region大小也是极度不均衡,最大的region 287G, <1m的region有129个读写不均衡现有的rowkey设计,简单来说是appid+date的顺序序列简单来说对于每个appid都有一个写热点,这不仅没...原创 2015-02-27 16:49:00 · 14 阅读 · 0 评论 -
SQL Server 主库DML操作慢故障处理过程
从某个时间开始,Cat监控到的数据发现,正式环境的Insert 表很慢,数据库用了AlwasON高可用(1个备库做了实时同步),特别是每天早上9:00--11:00,做活动的时候,下单的insert需要1秒,有些有3秒的,而且是大量出现很多简单的insert也有。从8月份就一直就有问题,严重影响业务 ,当时还记录了: https://www.cnblogs.com/zping/p/951...原创 2018-12-12 20:03:00 · 27 阅读 · 0 评论 -
性能压测,更新库存时间长
这几天,公司测试压测从早上5:00--5:20 压测4万订单,测试活动期间,数据库的性能怎样, 开发早上起来发现,最近几天,更新库存的时间变慢的,是从6月10号开始的,就问从10号有做变更没有,我这边查数据库监控没问题!但是在CAT的监控上,更新库存需要6秒以上: 后来和开发人员沟通,以前更新库存有个写库存日志的动作,但是已经从同步改成异步了,但是为何还这么慢,一开始以为...原创 2019-07-03 14:20:00 · 15 阅读 · 0 评论 -
核心只读数据库实例故障应急解决方案
目前公司有一套核心交易数据库配置了AlWaysON,SQL 2012版本, 1主4从, 其从库(8,14, 8.15) 这2台只读的从数据库服务器, 后台程序和wms等很多程序,都是直接配置IP连接这个2个机器,而且这2台机器已经过保,如果其中一天机器出现故障,不能使用,怎么处理? 怎么解决? 先谈谈后果: 这2台机器都...原创 2019-07-31 20:05:00 · 12 阅读 · 0 评论 -
数据库遇到的2个奇葩的事情
今天介绍一下从业数据库dba这么多年,前段时间碰到的奇葩事情,说之前,提2个问题: 1,见到单个数据库最多有多少张业务表 2,一个表有30多个字段,表里就有一条数据,写一个查询就这一个表的sql,不关联其他表,不要用WAITFOR DELAY等关键字,写一个执行查询要20秒以上的sql 以前我也从未关心过数据库表有多少张, 写SQL,一...原创 2019-08-01 19:44:00 · 15 阅读 · 0 评论 -
数据库运维核心--可控
《道德经》:万物之始,大道至简,衍化至繁 稻盛和夫:真正的聪明人,善于把复杂事情简单化,至简也至难 稻盛和夫:马云,任正非等的偶像, 甚至软银的孙正义是稻盛和夫的学生 这就是DBA的工作:1,审核SQL 2,执行SQL 3,优化SQL 4,升级服务器 5,配置各种高可用…… ? 在DBA行业做了比较长时间,有时自己会问,数据库运维...原创 2021-08-13 16:36:00 · 26 阅读 · 0 评论 -
SSIS数据同步系统
缘起: 若干年前,刚到一家3C类的电商公司做DBA,到公司没几天,公司的CEO和研发总监,说现在要做个事情: 把IDC的数据库的数据,要同步一份到仓库,因单量大,仓库经常爆仓,仓库网络不好时,可以直接用同步的数据 记得当时CEO还特意,弄个讲座讲了公司如何处理单量爆仓 第一次做DBA,第一个月只是有这个说法,没想到研发总监又说了几次,但是线...原创 2021-08-17 15:48:00 · 23 阅读 · 0 评论 -
性能压测,SQL查询异常
早上测试对性能压测,发现取sequence服务大量超时报错,查询线上的监控SQL: 大量这个查询,我在DeviceID和Isdelete上建有复合索引,应该很快,而且我测试了一下,取值,执行效率很高,不会出现慢的情况。但是通过SQL Profile工具监控,发现这个sql,执行的CPU和IO都是很高,取出profile监控出来的sql: exec sp_execut...原创 2019-06-19 19:01:00 · 14 阅读 · 0 评论 -
用ELK分析每天4亿多条腾讯云MySQL审计日志(3)--下载日志
当初分析日志,麻烦的是腾讯云的SQL审计日志下载,有下列限制: 1,单次最多1000万条下载 2,单个实例最多生成5条日志文件,多的要先删除以前文件才能生成 腾讯云日志文件生成界面: 一开始用手工下载,想想也不多,可以忍受,弄了一段时间后,研发的要求越来越高,不能一直这样手工,刚好旁边的运维小伙用GO实现了程序单实例下载日志---filebeat-...原创 2021-08-12 14:41:00 · 27 阅读 · 0 评论 -
SQL血的教训--故障汇总(更新于2023年12月28日)
1,每次查询的数据要有限制 2013年1月 产品独立数据库,由于多条SQL每次查询数据超过几千条,有些超过10万条数据未分页,造成应用服务器CPU有时持续100%。2,禁止循环调用SQL 2011年5月 程序调用Sys_User查询,每分钟执行超过3千次,造成服务器CPU持续100%3,禁止使用递归方法调用SQL; 方法内如出现数据异常,极易造成查询死循环4,...原创 2019-09-17 13:33:00 · 21 阅读 · 0 评论 -
虚IP解决AlWaysON读库服务器过保替换
公司核心交易数据库,使用SQL 2012 AlWaysON的1主4从,有2台(8.14,8.15)从库服务器,已经使用3年多,过保替换,新买的2台服务器已经安装好,一开始方案如下:服务器(8.14)替换方案:1, 需提前修改程序连接8.14的配置和DBMS,改成8.15服务器并重启相关服务2, 监控几天未有程序使用8.14数据库服务器3, 凌晨2点—5点,在AlwaysON集...原创 2019-09-09 18:30:00 · 17 阅读 · 0 评论 -
用ELK分析每天4亿多条腾讯云MySQL审计日志(1)--解决过程
前言: 该文章将会介绍以下: 1,快速分析SQL日志的几种方法 2,使用mysql的全文索引快速分析少量SQL审计 3,准确快速分析4亿多条审计SQL日志(过程和最终解决方案) 公司核心库拆库拆表,对表和账号分析,大量系统连接,1主13个从库,几十个账号,后来都开通了全SQL审计,14个实例的审计日志条数每天超过4.5亿条+ 要求...原创 2021-03-04 16:45:00 · 17 阅读 · 0 评论 -
核心MySQL主库优化总结
公司核心主库,在我来公司时是1主5从库(腾讯云RDS),外加7个自建级联从库。 从2020年2月到2021年8月优化总结: 1, 7个自建多级从库,从以前的中转同步改成从一级从库同步,废弃了5个从库实例,还有1个给大数据用,另外一个做备用 2,数据库容量控制, 期间清理出400多G空间的表数据 3,1主5从发展到了1主13从...原创 2021-08-12 16:52:00 · 16 阅读 · 0 评论 -
用ELK分析每天4亿多条腾讯云MySQL审计日志(4)--MySQL全文索引
前言: 该文章将会介绍以下: 1,MySQL全文索引的使用 2,全文索引停止词STOPWORD 3,使用全文索引的高效和准确 最近事情比较少,刚好可以梳理一下以前的工作,做一下总结! 在以前的解决方案中有介绍百万级如何使用MySQL全文索引方法,在没使用ELK前,线上13个实例的SQL日...原创 2021-08-31 11:23:00 · 19 阅读 · 0 评论 -
大表修改字段类型另类方法
最近加字段,突然想起几年前一次大表加字段的事情。 缘起: 公司的订单表和配送单表,以前金额字段是:decimal(19,3)类型,正常肯定够用,但是财务有个需求,需要把字段类型从decimal(19,3) 改成decimal(38,10)类型,支持10位小数点。 当BI部门给我提这个需求时,也没觉得怎样,在SQL Server的大表加字段,不像M...原创 2021-09-02 17:06:00 · 28 阅读 · 0 评论 -
数据库黑客入侵事件(1)--精心准备的入侵
总结这些年数据库运维,除了数据库优化,审核,高可用,故障处理等这些日常事情外,给我留下感触最深的就是有二起数据库入侵事件,自己亲身经历的黑客攻击拖库事件,一起是事件的追查者,一起是事件的发现者,两个事件已经距离有点长时间,而且已经离开,不会对公司有什么影响,公司名用代号替代。 今天介绍一下其中一起入侵事件,详细追查过程和相关敏感信息忽略。 ...原创 2022-09-30 15:10:00 · 46 阅读 · 0 评论 -
数据库黑客入侵事件(2)--小疏忽导致的入侵
今天介绍一下另一起入侵事件,这次入侵事件的黑客技术水平明显要高于上次,作为这次入侵事件的发现者,感触颇多,由于已经离开该公司,避免对公司有什么影响,公司名用代号替代。 详细追查过程和相关敏感信息忽略。 B互联网公司,在出现该入侵事件几个月前,公司出现部分客户手机号被盗情况,后续将客户手机号做加密,但涉及面多,未完全做完, 历史原因,有部...原创 2022-10-20 11:00:00 · 29 阅读 · 0 评论 -
实用QPS和TPS高的高效分析方法
现在主库的MySQL的QPS一直在3K/s左右,想知道其到底执行了那些SQL,或者是那些SQL执行的次数比较多: 腾讯云的后台监控: 开启腾讯云的SQL审计后,下载几分钟SQL日志文件, 下列语句在MySQL建表,如我们下载了6分钟的单实例审计日志: CREATE TABLE `ex` ( `AffectRows` varchar(255) DEFAULT NUL...原创 2021-11-24 16:15:00 · 17 阅读 · 0 评论 -
从数据库优化到治病(2)---治好心悸过程
最近10多年一直在从事DBA方面的工作,5年多前经常心跳突然很快,一会后心跳就正常,期间也看过中医,中医说是:心悸。 但是没怎么专门治疗,特别是在2015年左右,心悸比较厉害,有时心跳很快,也查了一下网上的治疗小技巧,试了但是效果不好。 一直到2020年才真正治疗好我的心悸。 以前我们经常听到一句话: 我为人人,人人为我。特别是在工作...原创 2021-11-24 15:34:00 · 19 阅读 · 0 评论 -
MySQL的经典SQL优化12例(更新于2023年12月28日)
下列优化的SQL案例,区别于平常加SQL索引的方法优化,大部分都是通过改写SQL语句方法优化,都是日常优化线上慢SQL的实际案例,有比较好的代表性(思路和方法),也是对自己这些年来做SQL优化的总结,对后面优化SQL有很好的提示和借鉴,案例会持续更新中。说明: 最近优化慢SQL,执行计划错误和OR条件查询优化实战经验,提供优化SQL思路和方法: 1,利用exist...原创 2021-06-08 10:39:00 · 109 阅读 · 0 评论 -
从数据库优化到治病(3)---度过灾难过程
最近突然想起要写下自己在2018年发生的一系列事情,给自己警示和提醒。 2018年上半年的一天晚上,自己突然做了一个梦,梦中有人跟我说:"你今年会有灾难,如果度过去就会活到多少多少岁",梦里听到灾难,我警觉的说,我已经在一个风水师父里请了护身符了,记得我还把护身符给她看。 因为2018年我犯太岁,特意请了护身符。后来有次我还跟师父的爱人(也是玄学比...原创 2023-07-07 17:41:00 · 25 阅读 · 0 评论 -
高效发现和解决insert字段长度不够的报错
早上发现执行的PostgreSQL存储过程报错,错误如下:300-value too long for type character varying(100),一看就是表字段的长度太小,从提示看是,字段是varchar(100)的字段长度不够。看了具体表:看了表字段,有好多个字段是varcahr(100): 如下图: 这么多字段v...原创 2023-12-31 17:44:00 · 499 阅读 · 0 评论