elasticsearch
tanruixing
这个作者很懒,什么都没留下…
展开
-
cerebro 配置
cerebro 配置原创 2022-08-30 17:22:43 · 318 阅读 · 0 评论 -
elasticsearch high level rest client 开发注意事项
high level rest client开发需要注意如下几点:引入的json版本必须与引入es的版本是一致的,如es 6.6.2版本引入的json是2.8.11,则需要引入2.8.11才可以! <dependency> <groupId>com.fasterxml.jackson.core</groupI...原创 2019-03-25 14:33:08 · 750 阅读 · 3 评论 -
elasticsearch 创建index 原则
相信有不少读者用elasticsearch的时候第一个难题就是如何创建好一个index。下面给出具体的样例和原则,帮助大家创建一个相对适合自己业务场景的index,有助于开展后续的开发工作。 先上创建index的模板:curl -XPUT 'http://127.0.0.1:9200/my_index_name_v1?pretty' -d '{ "ali...原创 2019-03-12 18:43:24 · 8358 阅读 · 1 评论 -
elasticsearch 运维reroute 去除index丢失分片
问题背景:在一个数据量特别大的日志集群中,假如有25台机器,每台机器部署2个es实例。那么共有50个节点,为了集群的数据平衡和考虑到日志数据量大给副本消耗太多的资源,只能设置number_of_shards为50,"number_of_replicas" : "0"。写的场景是按小时写入大量的日志,当某一台机器挂了(导致数据无法恢复)则会导致所有的index都会丢失对应机器所存储的...原创 2019-03-07 18:45:35 · 2041 阅读 · 0 评论 -
elasticsearch index设置
index.write.wait_for_active_shards 设置写入多少份分片数就返回结果,用于提升性能。原创 2019-03-14 15:03:04 · 1685 阅读 · 0 评论 -
Linux hung参数
hung task相关配置1)设置timeout时间:echo 120> /proc/sys/kernel/hung_task_timeout_secs120单位为s。2)设置hung task后是否触发panicecho 1 > /proc/sys/kernel/hung_task_panic...原创 2019-03-06 14:42:43 · 477 阅读 · 0 评论 -
index 特定情形的设置
index.write.wait_for_active_shards 释义:等待有多少分片被写入成功后即可返回。设置为1,则主分片写入即可返回。注,kafka也有类似的配置。 用途:用于牺牲可能带来的一致性损耗,提升index写入性能,默认是全部副本写入才行。若集群在恢复时,主分片很快恢复,而副本分片恢复慢,则可以根据问题场景设置该项,使得业务尽快能写入数据,同...原创 2019-03-05 18:59:47 · 325 阅读 · 0 评论 -
elasticsearch 命令调试
调试手段设置error_trace=true,直接在URI后直接追加。 查询语句的时候可以用validate,参考地址:https://www.elastic.co/guide/en/elasticsearch/reference/5.1/search-validate.html...原创 2019-03-05 16:45:51 · 477 阅读 · 0 评论 -
elasticsearch 之jvm配置
elasticsearch master+data分离方式的好处master所需要的元数据占用的内存从数据节点进行剥离,使得数据节点更专注处理数据部分。 集群通信压力过大的时候,多个数据节点都能与网络负载不是很高的master节点进行通信,减少节点脱离集群的可能。 elasticsearch jvm配置,单个节点最大内存小于32g,合理配置为31g。es...原创 2019-02-25 21:32:22 · 3505 阅读 · 0 评论 -
elasticsearch update性能提升技巧
es 批量update远比,批量get,或者单次query到文档,批量修改后,再批量index,这样效率会高非常多(有实验测试高达1000倍!)。原创 2019-02-27 17:00:11 · 6707 阅读 · 1 评论 -
elasticsearch 分片选择
相信读者创建index的时候,一定曾经纠结过分片数应该分配多少。笔者从实用角度来讲述一下index分片数量的选择,index分片数量严格来说不能过多,也不能过少,还要兼顾分片平衡以及集群压力。现在从一些角度来讲主分片数应该怎么选择。分片数量与节点数(或机器数)的平衡 分析:若一个es集群的节点数为3,则考虑业务扩展(无论是容量还是其它),可能需要新增1个节点共4...原创 2019-02-22 18:42:26 · 1749 阅读 · 0 评论