很多时候,你缺少的不是知识而是热情

MYSQL,NOSQL,架构,大数据

排序:
默认
按更新时间
按访问量

ES节点服务器异常掉电重启导致shard不能启动的问题修复

今天elasticsearch两个节点服务器异常掉电重启,遇到translog损坏的异常,将修复的过程记录下来。 1、问题 单机数据量有2亿+,一个index,20+个字段,使用bulk不停的写数据,bulk.size=5000,此时机器意外断电宕机。 机器修复后重启ES,出现trans...

2018-04-18 22:04:03

阅读数:276

评论数:0

elasticsearch出现TranslogCorruptedException导致shard不能启动的问题修复

测试elasticsearch过程中,遇到translog损坏的异常,将修复的过程记录下来。 1. 问题 单机数据量有8亿+,一个index,20+个字段,使用bulk不停的写数据,bulk.size=5W,此时机器意外断电宕机。 机器修复后重启ES,出现translogCorr...

2018-04-18 21:38:23

阅读数:197

评论数:0

追踪同步分片副本

转自: easyice.cn 周末抽空翻译了官网一篇关于 allocation id 的文章,这对理解 ES5之后主分片选举策略至关重要。 原文链接 elasticsearch 通过在集群中保留多个数据副本的方式提供故障转移功能,当出现网络分区或者节点挂掉时,更改操作可能无法在所有副本上完成...

2017-11-13 11:07:57

阅读数:515

评论数:0

将 ELASTICSEARCH 写入速度优化到极限

转自:https://www.easyice.cn/archives/207目录 [隐藏]translog flush 间隔调整索引刷新间隔调整: refresh_intervalrefresh_intervalsegment mergeIndexing Bufferbulk 线程池和队列大小磁盘...

2017-11-13 11:02:48

阅读数:5096

评论数:3

Elasticsearch优秀的索引设置技巧

下面的索引设置是从国外一家优秀的图片搜索公司获取,可以从其设置索引的设计上得到一些如何提高索引设计技巧的方式:{ "500px.photos-2016-05-06-20-09": { "aliases": { "500px....

2017-11-09 11:25:48

阅读数:682

评论数:0

用 logstash 解析 json 数组

原始输入日志文件每行日志格式如下,json 数组格式的: [{“a”:1},{“a”:2}]要求拆分成2行事件,在ES中保存两个文档 {“a”:1} {“a”:2}本来以为挺麻烦,原来 input -> codec => json 直接支持解析这种格式,真愚昧啊 file ...

2017-11-01 16:06:43

阅读数:1210

评论数:0

Elasticsearch集群冷热分离-实际操作

这次冷热分离将4个节点,分别2个为一组,分别叫做 cold & hot,hot 组两个节点,cold 组两个节点节点级别配置在 hot 组的两个节点的 elasticsearch.yml 配置文件 Node 配置段中增加node.tag: hot在 cold 组的两个节点的 elastic...

2017-10-26 15:22:52

阅读数:2165

评论数:0

如何快捷的判断一批索引中不存在的或 close 的索引

Elasticsearch查询多个索引时,如果其中某个索引不存在或closed,则该查询直接返回 ”404 索引丢失“ 错误如:GET /ocslog-2016.08.03,ocslog-2016.08.04,ocslog-2016.08.05,ocslog-2016.08.06/_search假...

2016-08-12 21:33:26

阅读数:1558

评论数:0

ES的一些优化经验

亿级规模的ES查询优化实战 能用filter就不用query filter拿到相应的doc后不计算score不用排序 query会对符合条件的doc计算score并进行排序 filter的查询速度比query快很多 增加相关cache的配置 indices.cache.filter.siz...

2016-04-25 13:26:18

阅读数:4409

评论数:0

Lucene 查询中的距离查询(proximity query)

http://chenlinux.com/2016/04/04/lucene-proximity-querystring/ 我们在使用 ELK 的时候,使用 Lucene querystring 语法的机会,远超过使用 Elasticsearch 的 query DSL。毕竟...

2016-04-07 11:33:10

阅读数:1015

评论数:0

Elasticsearch随笔02

fields 自定义返回字段{ //"_source": false, //"_source": ["aa*", "bb*"] //"_source": ["use...

2016-03-02 10:16:12

阅读数:1021

评论数:0

让Logstash每次都从头读文件

input { file { path => ["/data/test.log"] start_position => "beginning" sincedb_path => &quo...

2016-03-02 10:15:17

阅读数:6450

评论数:0

用SQL语句查询elasticsearch

以前我是这样查询elasticsearch的:POST /cdr*/hj_scpcdr/_search { "from" : 0, "size" : 0, "_source" : { "includes&qu...

2016-01-21 17:24:06

阅读数:9314

评论数:4

Elasticsearch API操作01

基本操作 集群健康度检查 GET http://172.16.18.114:9200/_cluster/health 判断索引是否存在 HEAD http://172.16.18.114:9200/logstash-2016.01.07 创建索引 PUT http://172.16.18.116:...

2016-01-20 11:45:46

阅读数:2031

评论数:0

Elasticsearch把cluster persistent update保存到哪里了?

执行下面的设置:PUT _cluster/settings { "persistent" : { "indices.store.throttle.type" : "merge", "ind...

2016-01-19 18:54:47

阅读数:1004

评论数:0

谈谈ES的Recovery

Recovery是指将一个索引的shard分配到另外一个结点的过程。 在快照恢复,更改索引复制片数量,结点故障或者结点启动时发生。由于master持有整个集群的状态信息,因此可以判断出哪些shard需要做再分配,以及分配到哪个结点。例如: 如果某个shard主片在,副片所在结点挂了,那么选择另外...

2016-01-19 09:33:22

阅读数:2078

评论数:0

关于fielddata数据占用内存过大的解决方法

参考文章Support in the Wild: My Biggest Elasticsearch Problem at Scalehttp://blog.csdn.net/jiao_fuyou/article/details/50478198Understanding FielddataBy d...

2016-01-13 15:59:34

阅读数:2399

评论数:0

让Elasticsearch集群冷热分离、读写分离

根据Elasticsearch中文社区《ES冷热分离(读写分离) hot, stale 场景》一篇整理的。一、冷热分离 按《控制Elasticsearch分片和副本的分配》来设置,将hot,stale数据分到不同的集群上去 hot集群只保留最近一天或两天数据 写一个定时任务每天凌晨将前一天的索引标...

2016-01-13 15:51:07

阅读数:9971

评论数:2

elasticsearch高级配置之分片分布规则设置

Java代码   cluster.routing.allocation.allow_rebalance   设置根据集群中机器的状态来重新分配分片,可以设置为always, indices_primaries_active和indices_all_active,默认是设置成...

2016-01-13 14:31:45

阅读数:5465

评论数:0

ES内存那点事

“该给ES分配多少内存?”  “JVM参数如何优化?“ “为何我的Heap占用这么高?” “为何经常有某个field的数据量超出内存限制的异常?“ “为何感觉上没多少数据,也会经常Out Of Memory?” 以上问题,显然没有一个统一的数学公式能够给出答案。 和数据库类似,ES对...

2016-01-13 12:58:32

阅读数:4914

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭