wangzhen3798的博客

我的博客

如何通过外部表做数据一致性检查和配平

背景 随着微服务和分布式架构的兴起及用户对数据高可用的重视。现在系统中的数据会通过程序定时同步、抽数工具、复制工具等在多个数据库中存在多份。但因为程序异常、网络异常、数据异常等各种原因,会出现数据不一致的情况。如何能简单快速检测出数据不一致并且配平呢?本文通过PostgreSQL的fdw机制,介绍...

2019-08-26 17:19:54

阅读数 44

评论数 0

Elasticsearch SQL特性研究

Elasticsearch SQL特性研究 简介 从Elasticsearch 发布以来,一直有自己的查询语言(DSL),从6.3版本开始,Elasticsearch 开始支持SQL查询语言。即6.3、6.4、6.5、6.6、6.7、7.0均支持SQL查询。但是6.7之前SQL功能是实验性质的...

2019-04-27 17:44:28

阅读数 51

评论数 0

Elasticsearch7.X为什么移除type

Elasticsearch7.X为什么移除类型(type) 在Elasticsearch7.0.0及以后版本不再接受_default_ 映射。在6.x里创建的索引依然像在Elasticsearch6.X之前一样起作用。Types在7.0的API里是被舍弃的,在创建索引,设置映射,获取映射,设置模...

2019-04-24 21:46:47

阅读数 1173

评论数 0

Elasticsearch发展史

简介 Elasticsearch是当前比较流行的开源的分布式搜索和数据分析引擎,具备易使用、高性能、扩展性强等特点。是ElasticStack的核心组件,以其为核心构建的ELK,已经是日志分析领域的事实标准。Elasticsearch是怎么一步一步发展成熟的呢? You Know,for Sear...

2019-04-22 19:20:28

阅读数 146

评论数 0

TB级Elasticsearch全文检索优化研究

TB级Elasticsearch全文检索优化研究 背景 全文检索的原理 分词插件对比测试 TB级ES优化方案

2018-11-23 18:57:20

阅读数 443

评论数 0

如何正确的关闭Elasticsearch集群

如何正确的关闭ElasticSearch集群 背景 接触Elasticsearch也快半年时间了,一直也没弄明白如何的关闭ES和ES集群。经常在测试和生产环境遇到这样的问题“重启ES后数据怎么没了?”,“启动ES后,怎么一直有大量的数据在迁移?” 问题原因 其本质原因有两点: ES中的数据不是实...

2018-11-14 17:39:33

阅读数 1581

评论数 0

新自定义查询系统设计分析

自定义查询系统设计分析 背景 最近参与某新自定义查询系统开发,系统是锋哥设计的,核心代码也是锋哥写的。作为一个搬砖者自下而上的分析学习一下大神的系统设计。文中的谈到架构设计内容是根据代码理解梳理出来的,不代表系统的实际架构和实现。同时由于业务和技术的复杂性及其他原因,不对实现细节作说明。 设...

2018-11-09 16:08:30

阅读数 445

评论数 1

ElasticSearch中如何进行排序

ElasticSearch中如何进行排序 背景 最近去兄弟部门的新自定义查询项目组搬砖,项目使用ElasticSearch进行数据的检索和查询。每一个查询页面都需要根据选择的字段进行排序,以为是一个比较简单的需求,其实实现起来还是比较复杂的。这里进行一个总结,加深一下记忆。 前置知识 ...

2018-10-31 16:31:10

阅读数 3217

评论数 1

DMIDECODE 命令手册

名称 dmidecode - DMI表解码器 摘要 dmidecode [options] 描述 dmidecode 是一个把计算机的DMI(或者叫SMBOIS)表内容转换成人类易读格式的工具。

2018-09-09 09:05:43

阅读数 171

评论数 0

ASEBR工具使用说明

ASEBR工具使用说明工具简介Asebr 全称sybase ase backup and recovery,是一个sybase ase数据库备份恢复和迁移复制工具,由DBA团队实现维护,主要有批处理、SQL和第三方程序组成。 具有备份结果可视化可编辑、支持字符集转换、重新定义设备大小、简...

2018-02-14 08:29:51

阅读数 201

评论数 0

数据库索引选择的探索(二)之直方图

数据库索引选择的探索(二)之直方图引言在《数据库索引选择的探索(一)》里,以SYBASE为例讲解现代数据库选择SQL执行计划特别是选择索引的基本原理和过程:SQL执行过程中有多条执行计划多个索引可供选择,数据库查询编译器会采用代价模式根据表的统计信息和直方图计算出代价最小效率最高的执行计划。其中简...

2018-02-09 13:13:46

阅读数 406

评论数 0

深入理解计算机系统-学习笔记

第一章:计算机系统漫游 从网上看的好多关于计算机硬件原理的文章基本是摘抄或者本章的学习总结。证明这确实是一本理解计算机系统的好书! 信息是bit+ 上下文,一切信息都是以0和1存储在计算机上,在不同的上下文中有不同的含义。 计算机是由不同层次的抽象组成的,低层级的抽象向高层级抽象隐藏了实现的复杂度...

2018-02-03 09:51:28

阅读数 114

评论数 0

SYBASE 多临时库使用

在解决江西数据库问题时,发现tempdb 数据库资源争用比较严重,锁比较多,根据余头儿和赵哥的建议,采用多临时库缓解tempdb的压力,对NP的SYM、TJFX 应用和第三方公司帐号jdhb单独绑定临时库。 临时数据库的作用: 临时库是一种全服务器范围的资源,主要用于处理排序、创建工作表、重新...

2018-02-02 13:39:45

阅读数 636

评论数 0

SYBASE修改字符集和sortorder id

近期在将某环境上dump的数据在公司的sybase环境load时报sortorder id 不一致,不能导入(忘记截图了)。 操作系统环境:CentOS 6.5 sybase版本:15.7。 解决步骤如下: 1、根据报错信息确定本机sybase的sortorder id 和...

2018-02-02 13:37:10

阅读数 291

评论数 0

PostgreSQL数据库如何快速插入大量数据

PostgreSQL数据库如何快速插入大量数据背景在一些应用场景中,需要向PostgreSQL数据库中快速装入大量的数据,比如数据库迁移,SQL日志分析等。在Abase上快速插入数据有几种方案,每种方案的效率怎么样?如何调优能加快的数据装载?场景设定SQL日志分析是一个采集JDBC日志、分析SQL...

2017-12-11 12:57:33

阅读数 11769

评论数 0

PostgreSQL 硬件性能调优

PostgreSQL 硬件性能调优 翻译自文章《PostgreSQL Hardware Performance Tuning》 PostgreSQL是一个由世界范围内开发人员在互联网上开发的对象-关系型数据库。她是商业数据库如Oracle和Informix一个开源替代。PostgreSQL最初...

2017-12-08 14:20:27

阅读数 328

评论数 0

PostgreSQL官方文档学习笔记

窗口函数 window 子句 当一个查询涉及到多个窗口函数时,可以将每一个分别写在一个独立的OVER子句中。但如果多个函数要求同一个窗口行为时,这种做法是冗余的而且容易出错的。替代方案是,每一个窗口行为可以被放在一个命名的WINDOW子句中,然后在OVER中引用它。例如:SELECT sum(sa...

2017-12-01 15:01:25

阅读数 84

评论数 0

何时还完房贷-"自由还款"还款信息计算(JAVA)

房贷【自由还款】信息计算(JAVA)背景当今社会贷款买房,已经成为大多数人的必然选择。贷款方式可以选择公积金贷、商贷、组合贷,还款方式可以选择等额本息、等额本金、自由还款方式等。当前网络上存在各种版本的房贷计算器,其缺点如下: 只能根据还款年限和贷款金额信息等推算出每月的还款额度和利息等信息,不能...

2017-11-29 16:34:00

阅读数 1119

评论数 0

Sybase数据库中自旋锁和CPU使用率

翻译整理自文章《Spinlocks and CPU usage in SAP ASE》 目的这篇文章的目的是清楚的了解SAP ASE怎样使用自旋锁及对整体CPU使用率可能产生的影响。简介通常,SAP ASE中CPU高可以归因为自旋锁的使用。这篇文章将要展示怎样识别这些条件和推荐的ASE调优方法。什...

2017-10-09 13:41:22

阅读数 473

评论数 0

PostgreSQL数据库pg_test_timing学习使用

pg_test_timing 是什么pg_test_timing 是postgresql数据库提供的一个工具,用来评测操作系统计时效率和开销的,简单的说就是gettimeofday (操作系统方法)返回快慢。pg_test_timing 使用的原因目前知道的一个原因是,查看度量SQL执行时间经常使...

2017-09-26 14:41:27

阅读数 893

评论数 0

提示
确定要删除当前文章?
取消 删除