数据库
wangzhen3798
just do it !
展开
-
Linux系统IO基准测试方法
Linux系统IO基准测试方法随机读写测试主要关注IOPS指标,即每秒磁盘能够处理的IO请求个数。普通单块机械磁盘的IOPS在100~300左右,普通SSD的IOPS在几万左右,该指标对关系型数据库等以随机读写为主的软件性能影响比较大。测试方法安装fio测试软件yum install -y fio运行命令:fio -directory=/home/wangzhen/fiotest -name=tempfile.dat -direct=1 -rw=randrw -rwmixwrite原创 2020-09-09 11:52:30 · 713 阅读 · 0 评论 -
PrepareStatement的功与过
PrepareStatement的功与过背景最近一个同事说遇到一个问题,“使用JDBC驱动进行prepareStatemet查询时,jdbc里的执行计划是错误的,有一些SQL特别慢。初步分析原因是数据分布不均匀,传递参数不一样时,prepareStatement仍然用的原来的执行计划。”最后的解决方案和结论是:通过在jdbcURL上设置参数"prepareThreshold=0"解决(项目...原创 2020-01-17 17:35:34 · 1792 阅读 · 1 评论 -
2019年个人工作总结
2019年个人工作总结工作业绩2019年我作为数据库团队负责人,带领DBA和几个开发做数据库相关工作。主要的工作业绩我认为有以下几点:首先,建立了制度。定了研发DBA怎么干、干什么、怎么管。我是最早一批干研发DBA的,从2016年6、7月份开始,起起伏伏,干了两年多。最早作为NP的一部分,做SQL优化,程序优化,库表设计,现场问题排查等,作出了一些成绩。随着NP的移交,DBA团队的扩大...原创 2020-01-17 11:22:24 · 483 阅读 · 0 评论 -
如何通过外部表做数据一致性检查和配平
背景随着微服务和分布式架构的兴起及用户对数据高可用的重视。现在系统中的数据会通过程序定时同步、抽数工具、复制工具等在多个数据库中存在多份。但因为程序异常、网络异常、数据异常等各种原因,会出现数据不一致的情况。如何能简单快速检测出数据不一致并且配平呢?本文通过PostgreSQL的fdw机制,介绍一种简单的配平方法。环境准备源数据库IP:xx.xx.12.11PORT:5432版本...原创 2019-08-26 17:19:54 · 459 阅读 · 0 评论 -
ElasticSearch中如何进行排序
ElasticSearch中如何进行排序背景最近去兄弟部门的新自定义查询项目组搬砖,项目使用ElasticSearch进行数据的检索和查询。每一个查询页面都需要根据选择的字段进行排序,以为是一个比较简单的需求,其实实现起来还是比较复杂的。这里进行一个总结,加深一下记忆。前置知识ElasticSearch是什么?ElasticSearch 简称ES,是一个全文搜索引擎,可以实现类似百度...原创 2018-10-31 16:31:10 · 47486 阅读 · 1 评论 -
sybase load 时报 sortorder id不一致问题的解决办法
近期在将某环境上dump的数据在公司的sybase环境load时报sortorder id 不一致,不能导入(忘记截图了)。操作系统环境:CentOS 6.5sybase版本:15.7。解决步骤如下:1、根据报错信息确定本机sybase的sortorder id 和 dump 文件的sortorder id。如本机sortorder id为51,dump文件的sortorder ...原创 2016-06-15 14:26:04 · 337 阅读 · 0 评论 -
ASEBR工具使用说明
ASEBR工具使用说明工具简介Asebr 全称sybase ase backup and recovery,是一个sybase ase数据库备份恢复和迁移复制工具,由DBA团队实现维护,主要有批处理、SQL和第三方程序组成。 具有备份结果可视化可编辑、支持字符集转换、重新定义设备大小、简单易用等特点。同时是dump等方式不能备份sybase数据库时的另外一种备份恢复选择。环境要求操作系统:原创 2018-02-14 08:29:51 · 763 阅读 · 0 评论 -
数据库索引选择的探索(二)之直方图
数据库索引选择的探索(二)之直方图引言在《数据库索引选择的探索(一)》里,以SYBASE为例讲解现代数据库选择SQL执行计划特别是选择索引的基本原理和过程:SQL执行过程中有多条执行计划多个索引可供选择,数据库查询编译器会采用代价模式根据表的统计信息和直方图计算出代价最小效率最高的执行计划。其中简单的提到了直方图,这次以PostgreSQL数据库为例,深入探讨直方图的由来、作用和查看方法。直方图的由原创 2018-02-09 13:13:46 · 2020 阅读 · 0 评论 -
SYBASE 多临时库使用
在解决江西数据库问题时,发现tempdb 数据库资源争用比较严重,锁比较多,根据余头儿和赵哥的建议,采用多临时库缓解tempdb的压力,对NP的SYM、TJFX 应用和第三方公司帐号jdhb单独绑定临时库。临时数据库的作用:临时库是一种全服务器范围的资源,主要用于处理排序、创建工作表、重新格式以及存储用户创建的临时表和索引。临时库相关的性能问题:1、大量使用临时数据库中的对象导致从原创 2018-02-02 13:39:45 · 1098 阅读 · 0 评论 -
SYBASE修改字符集和sortorder id
近期在将某环境上dump的数据在公司的sybase环境load时报sortorder id 不一致,不能导入(忘记截图了)。操作系统环境:CentOS 6.5sybase版本:15.7。解决步骤如下:1、根据报错信息确定本机sybase的sortorder id 和 dump 文件的sortorder id。如本机sortorder id为51,dump文件的sor原创 2018-02-02 13:37:10 · 788 阅读 · 0 评论 -
PostgreSQL官方文档学习笔记
窗口函数window 子句当一个查询涉及到多个窗口函数时,可以将每一个分别写在一个独立的OVER子句中。但如果多个函数要求同一个窗口行为时,这种做法是冗余的而且容易出错的。替代方案是,每一个窗口行为可以被放在一个命名的WINDOW子句中,然后在OVER中引用它。例如:SELECT sum(salary) OVER w, avg(salary) OVER w FROM empsalary原创 2017-12-01 15:01:25 · 463 阅读 · 0 评论 -
PostgreSQL 硬件性能调优
PostgreSQL 硬件性能调优 翻译自文章《PostgreSQL Hardware Performance Tuning》PostgreSQL是一个由世界范围内开发人员在互联网上开发的对象-关系型数据库。她是商业数据库如Oracle和Informix一个开源替代。PostgreSQL最初由加大伯克利分校开发。在1996年,一个团队开始在互联网上开发这个数据库。他们通过邮件来交流思想并且通过原创 2017-12-08 14:20:27 · 941 阅读 · 0 评论 -
一次一波三折的SQL优化经历
一次一波三折的SQL优化经历背景最近收到一个SQL调优任务,该SQL在开发环境统计一个月的数据将近执行5秒。原本以为是一场波澜不惊的调优,没想到为了得到最优结果,经历了一波三折。第一印象初见慢SQLselect case when sum(n_xsajs) is null then 0 else sum(n_xsajs) end as value ,ay.c_aymc as name,ay.c_原创 2017-09-04 14:09:31 · 650 阅读 · 0 评论