很多时候,你缺少的不是知识而是热情

MYSQL,NOSQL,架构,大数据

排序:
默认
按更新时间
按访问量

ES节点服务器异常掉电重启导致shard不能启动的问题修复

今天elasticsearch两个节点服务器异常掉电重启,遇到translog损坏的异常,将修复的过程记录下来。 1、问题 单机数据量有2亿+,一个index,20+个字段,使用bulk不停的写数据,bulk.size=5000,此时机器意外断电宕机。 机器修复后重启ES,出现trans...

2018-04-18 22:04:03

阅读数:279

评论数:0

elasticsearch出现TranslogCorruptedException导致shard不能启动的问题修复

测试elasticsearch过程中,遇到translog损坏的异常,将修复的过程记录下来。 1. 问题 单机数据量有8亿+,一个index,20+个字段,使用bulk不停的写数据,bulk.size=5W,此时机器意外断电宕机。 机器修复后重启ES,出现translogCorr...

2018-04-18 21:38:23

阅读数:199

评论数:0

追踪同步分片副本

转自: easyice.cn 周末抽空翻译了官网一篇关于 allocation id 的文章,这对理解 ES5之后主分片选举策略至关重要。 原文链接 elasticsearch 通过在集群中保留多个数据副本的方式提供故障转移功能,当出现网络分区或者节点挂掉时,更改操作可能无法在所有副本上完成...

2017-11-13 11:07:57

阅读数:516

评论数:0

将 ELASTICSEARCH 写入速度优化到极限

转自:https://www.easyice.cn/archives/207目录 [隐藏]translog flush 间隔调整索引刷新间隔调整: refresh_intervalrefresh_intervalsegment mergeIndexing Bufferbulk 线程池和队列大小磁盘...

2017-11-13 11:02:48

阅读数:5134

评论数:3

Elasticsearch优秀的索引设置技巧

下面的索引设置是从国外一家优秀的图片搜索公司获取,可以从其设置索引的设计上得到一些如何提高索引设计技巧的方式:{ "500px.photos-2016-05-06-20-09": { "aliases": { "500px....

2017-11-09 11:25:48

阅读数:691

评论数:0

用 logstash 解析 json 数组

原始输入日志文件每行日志格式如下,json 数组格式的: [{“a”:1},{“a”:2}]要求拆分成2行事件,在ES中保存两个文档 {“a”:1} {“a”:2}本来以为挺麻烦,原来 input -> codec => json 直接支持解析这种格式,真愚昧啊 file ...

2017-11-01 16:06:43

阅读数:1222

评论数:0

修改 mysql-binlog 二进制日志文件至其它目录

myql默认配置情况下,二进制日志文件是保存在默认的数据目录 data 下,如:/usr/local/mysql/data。 有时我们希望把 binlog 修改保存到其他目录下,现记录下操作过程。 假设原目录为: /usr/local/mysql/data,并且已有一些日志文件 mysql-b...

2017-10-27 16:44:40

阅读数:1707

评论数:0

Elasticsearch集群冷热分离-实际操作

这次冷热分离将4个节点,分别2个为一组,分别叫做 cold & hot,hot 组两个节点,cold 组两个节点节点级别配置在 hot 组的两个节点的 elasticsearch.yml 配置文件 Node 配置段中增加node.tag: hot在 cold 组的两个节点的 elastic...

2017-10-26 15:22:52

阅读数:2179

评论数:0

mysql在线无性能影响删除7G大表

如何在mysql数据库里删除7G(或更大)大表,使其又不影响服务器的io,导致性能下降影响业务。先不说其是mysql表,就是普通文件,如果直接rm删除,也会使服务器的io性能急剧下降;换个思路如果用化整为零的方式,分多次大大文件一点一点删除,就可以避免因删除文件占用太多服务器io资源 例子:...

2017-08-25 11:46:45

阅读数:346

评论数:0

MySQL/InnoDB处理AUTO_INCREMENT(二)

Configurable InnoDB Auto-Increment Locking As described in the previous section, InnoDB uses a special lock called the table-level AUTO-INC lock for...

2017-07-02 16:42:50

阅读数:454

评论数:0

MySQL/InnoDB处理AUTO_INCREMENT(一)

http://dev.mysql.com/doc/refman/5.6/en/innodb-auto-increment-handling.html AUTO_INCREMENT Handling in InnoDB 下面所使用的表 CREATE TABLE people  (     per...

2017-07-02 16:39:04

阅读数:441

评论数:0

MySQL auto_increment实现

运维的时候,经常遇到auto_increment的疑惑: 机器异常crash,重启后id回退的问题性能考虑,每次获取肯定不会持久化,内存中取值,statement复制如何保证主备一致id的取值受binlog的保护吗 1. auto_increment相关的参数控制 1.1 inn...

2017-07-02 16:32:11

阅读数:436

评论数:0

MySQL 命令行工具之 mysqldump 深入研究

原文链接: http://www.cnblogs.com/digdeep/p/4898622.html http://www.cnblogs.com/digdeep/p/4906032.html mysqldump 是MySQL的一个命令行工具,用于逻辑备份。可以将数据库...

2017-03-15 11:13:18

阅读数:700

评论数:0

使用 xtrabackup 进行MySQL数据库物理备份

原文链接:http://www.cnblogs.com/digdeep/p/4946230.html 0. xtrabackup的功能 能实现的功能: 非阻塞备份innodb等事务引擎数据库、 备份myisam表会阻塞(需要锁)、 支持全备、增量备份、压缩备份、 快速增量备份(x...

2017-03-15 11:04:02

阅读数:2385

评论数:0

深入理解mysqldump原理 --single-transaction --lock-all-tables --master-data

原文链接:http://blog.csdn.net/cug_jiang126com/article/details/49824471 在mysqldump过程中,之前其实一直不是很理解为什么加了--single-transaction就能保证innodb的数据是完全一致的,而myis...

2017-03-14 11:15:20

阅读数:245

评论数:0

MySQL 一致性读 深入研究

原文链接:http://www.cnblogs.com/digdeep/p/4947694.html 一致性读,又称为快照读。使用的是MVCC机制读取undo中的已经提交的数据。所以它的读取是非阻塞的。 相关文档:http://dev.mysql.com/doc/refma...

2017-03-14 11:05:39

阅读数:425

评论数:0

一次mysql slave故障的解决过程

mysql> show slave status\G Last_SQL_Error: Relay log read failure: Could not parse relay log event entry. The possible reasons are: the master’s ...

2017-03-06 13:07:24

阅读数:2152

评论数:0

MySQL闪回原理与实战

MySQL闪回原理与实战原文地址: https://github.com/danfengcao/binlog2sql/blob/master/example/mysql-flashback-priciple-and-practice.md https://github.com/danfengc...

2017-02-14 09:29:31

阅读数:290

评论数:0

binlog2sql

binlog2sql原文地址:https://github.com/danfengcao/binlog2sql从MySQL binlog解析出你要的SQL。根据不同选项,你可以得到原始SQL、回滚SQL、去除主键的INSERT SQL等。用途 数据快速回滚(闪回) 主从切换后数据不一致的修复 从b...

2017-02-14 09:26:18

阅读数:518

评论数:0

缓存更新的套路

原文地址:http://coolshell.cn/articles/17416.html 看到好些人在写更新缓存数据代码时,先删除缓存,然后再更新数据库,而后续的操作会把数据再装载的缓存中。然而,这个是逻辑是错误的。试想,两个并发操作,一个是更新操作,另一个是查询操作,更新操作删...

2016-08-25 17:05:54

阅读数:1477

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭