elasticsearch的一些优化汇集

最新推荐文章于 2024-08-20 09:37:52 发布
最新推荐文章于 2024-08-20 09:37:52 发布
阅读量3.4k 收藏 4
点赞数 1
分类专栏： 全文索引

elasticsearch三个重要的优化

1、内存优化
在bin/elasticsearch.in.sh中进行配置
修改配置项为尽量大的内存：
ES_MIN_MEM=8g
ES_MAX_MEM=8g
两者最好改成一样的，否则容易引发长时间GC（stop-the-world）

elasticsearch默认使用的GC是CMS GC
如果你的内存大小超过6G，CMS是不给力的，容易出现stop-the-world
建议使用G1 GC
注释掉：
JAVA_OPTS=”$JAVA_OPTS -XX:+UseParNewGC”
JAVA_OPTS=”$JAVA_OPTS -XX:+UseConcMarkSweepGC”

JAVA_OPTS=”$JAVA_OPTS -XX:CMSInitiatingOccupancyFraction=75″
JAVA_OPTS=”$JAVA_OPTS -XX:+UseCMSInitiatingOccupancyOnly”
修改为：
JAVA_OPTS=”$JAVA_OPTS -XX:+UseG1GC”
JAVA_OPTS=”$JAVA_OPTS -XX:MaxGCPauseMillis=200″

如果G1 GC优点是减少stop-the-world在几率，但是CPU占有率高。
需要更优化的性能，你可以参考
http://www.oracle.com/webfolder/technetwork/tutorials/obe/java/G1GettingStarted/index.html

2、合理配置主节点和数据节点
配置文件：conf/elasticsearch.yaml
node.master: true
node.data: true

1) 当master为false，而data为true时，会对该节点产生严重负荷；
2) 当master为true，而data为false时，该节点作为一个协调者；
3) 当master为false，data也为false时，该节点就变成了一个负载均衡器。

3、设置合理的刷新时间
建立的索引，不会立马查到，这是为什么elasticsearch为near-real-time的原因
需要配置index.refresh_interval参数，默认是1s。
你可以像
http://zhaoyanblog.com/archives/299.html
文件中一样，调用接口配置
也可以直接写到conf/elasticsearch.yaml文件中
index.refresh_interval：1s
这样所有新建的索引都使用这个刷新频率。

除非注明，赵岩的博客文章均为原创，转载请以链接形式标明本文地址
本文地址：http://zhaoyanblog.com/archives/319.html


elasticsearch配置文件详解

elasticsearch的config文件夹里面有两个配置文 件：elasticsearch.yml和logging.yml，第一个是es的基本配置文件，第二个是日志配置文件，es也是使用log4j来记录日 志的，所以logging.yml里的设置按普通log4j配置文件来设置就行了。下面主要讲解下elasticsearch.yml这个文件中可配置的 东西。

cluster.name: elasticsearch
配置es的集群名称，默认是elasticsearch，es会自动发现在同一网段下的es，如果在同一网段下有多个集群，就可以用这个属性来区分不同的集群。

node.name: "Franz Kafka"
节点名，默认随机指定一个name列表中名字，该列表在es的jar包中config文件夹里name.txt文件中，其中有很多作者添加的有趣名字。

node.master: true
指定该节点是否有资格被选举成为node，默认是true，es是默认集群中的第一台机器为master，如果这台机挂了就会重新选举master。

node.data: true
指定该节点是否存储索引数据，默认为true。

index.number_of_shards: 5
设置默认索引分片个数，默认为5片。

index.number_of_replicas: 1
设置默认索引副本个数，默认为1个副本。

path.conf: /path/to/conf
设置配置文件的存储路径，默认是es根目录下的config文件夹。

path.data: /path/to/data
设置索引数据的存储路径，默认是es根目录下的data文件夹，可以设置多个存储路径，用逗号隔开，例：
path.data: /path/to/data1,/path/to/data2

path.work: /path/to/work
设置临时文件的存储路径，默认是es根目录下的work文件夹。

path.logs: /path/to/logs
设置日志文件的存储路径，默认是es根目录下的logs文件夹

path.plugins: /path/to/plugins
设置插件的存放路径，默认是es根目录下的plugins文件夹

bootstrap.mlockall: true
设置为true来锁住内存。因为当jvm开始swapping时es的效率 会降低，所以要保证它不swap，可以把ES_MIN_MEM和ES_MAX_MEM两个环境变量设置成同一个值，并且保证机器有足够的内存分配给es。 同时也要允许elasticsearch的进程可以锁住内存，linux下可以通过`ulimit -l unlimited`命令。

network.bind_host: 192.168.0.1
设置绑定的ip地址，可以是ipv4或ipv6的，默认为0.0.0.0。


network.publish_host: 192.168.0.1
设置其它节点和该节点交互的ip地址，如果不设置它会自动判断，值必须是个真实的ip地址。

network.host: 192.168.0.1
这个参数是用来同时设置bind_host和publish_host上面两个参数。

transport.tcp.port: 9300
设置节点间交互的tcp端口，默认是9300。

transport.tcp.compress: true
设置是否压缩tcp传输时的数据，默认为false，不压缩。

http.port: 9200
设置对外服务的http端口，默认为9200。

http.max_content_length: 100mb
设置内容的最大容量，默认100mb

http.enabled: false
是否使用http协议对外提供服务，默认为true，开启。

gateway.type: local
gateway的类型，默认为local即为本地文件系统，可以设置为本地文件系统，分布式文件系统，hadoop的HDFS，和amazon的s3服务器，其它文件系统的设置方法下次再详细说。

gateway.recover_after_nodes: 1
设置集群中N个节点启动时进行数据恢复，默认为1。

gateway.recover_after_time: 5m
设置初始化数据恢复进程的超时时间，默认是5分钟。

gateway.expected_nodes: 2
设置这个集群中节点的数量，默认为2，一旦这N个节点启动，就会立即进行数据恢复。

cluster.routing.allocation.node_initial_primaries_recoveries: 4
初始化数据恢复时，并发恢复线程的个数，默认为4。

cluster.routing.allocation.node_concurrent_recoveries: 2
添加删除节点或负载均衡时并发恢复线程的个数，默认为4。

indices.recovery.max_size_per_sec: 0
设置数据恢复时限制的带宽，如入100mb，默认为0，即无限制。

indices.recovery.concurrent_streams: 5
设置这个参数来限制从其它分片恢复数据时最大同时打开并发流的个数，默认为5。

discovery.zen.minimum_master_nodes: 1
设置这个参数来保证集群中的节点可以知道其它N个有master资格的节点。默认为1，对于大的集群来说，可以设置大一点的值（2-4）

discovery.zen.ping.timeout: 3s
设置集群中自动发现其它节点时ping连接超时时间，默认为3秒，对于比较差的网络环境可以高点的值来防止自动发现时出错。

discovery.zen.ping.multicast.enabled: false
设置是否打开多播发现节点，默认是true。

discovery.zen.ping.unicast.hosts: ["host1", "host2:port", "host3[portX-portY]"]
设置集群中master节点的初始列表，可以通过这些节点来自动发现新加入集群的节点。

下面是一些查询时的慢日志参数设置
index.search.slowlog.level: TRACE
index.search.slowlog.threshold.query.warn: 10s
index.search.slowlog.threshold.query.info: 5s
index.search.slowlog.threshold.query.debug: 2s
index.search.slowlog.threshold.query.trace: 500ms

index.search.slowlog.threshold.fetch.warn: 1s
index.search.slowlog.threshold.fetch.info: 800ms
index.search.slowlog.threshold.fetch.debug:500ms
index.search.slowlog.threshold.fetch.trace: 200ms



Elasticsearch节点类型

http://blog.csdn.net/ljhabc1982/article/details/53994562


五台机器集群角色参考

1台 data=false master=true    首选主节点             jf95 
1台 data=true master=true     备用主节点             jf96  
2台 data=true master=false    固定数据节点           jf97,jf98 
1台 data=false master=false   客户端节点，负载平衡  jf99     （小集群可以直接分到做数据节点）

当我们启动Elasticsearch的实例，就会启动至少一个节点。相同集群名的多个节点的连接就组成了一个集群。

在默认情况下，集群中的每个节点都可以处理http请求和集群节点间的数据传输，集群中所有的节点都知道集群中其他所有的节点，可以将客户端请求转发到适当的节点。

节点有以下类型

  1. 主(master)节点

    node.master设置为True（默认）的时候，它有资格被选作为主节点，控制整个集群。

  2. 数据(data)节点

    在一个节点上node.data设置为True（默认）的时候。该节点保存数据和执行数据相关的操作，如增删改查，搜索，和聚合

  3. 客户端节点

    当一个节点的node.master和node.data都设置为false的时候，它既不能保持数据也不能成为主节点，该节点可以作为客户端节点，可以响应用户的情况，把相关操作发送到其他节点

  4. 部落节点

    当一个节点配置tribe.*的时候，它是一个特殊的客户端，它可以连接多个集群，在所有连接的集群上执行搜索和其他操作

Elasticsearch的data node除了放数据以外，也可以兼任master和client的角色，对于一个规模较大，用户较多的集群，master和client在一些极端使用情况下可能会有性能瓶颈甚至内存溢出，从而使得共存的data node故障。data node的故障恢复涉及到数据的迁移，对集群资源有一定消耗，容易造成数据写入延迟或者查询减慢。

如果将master和client独立出来，一旦出现问题，重启后几乎是瞬间就恢复的，对用户几乎没有任何影响。另外将这些角色独立出来的以后，也将对应的计算资源消耗从data node剥离出来，更容易掌握data node资源消耗与写入量和查询量之间的联系，便于做容量管理和规划。

主(Master)节点说明

​ 主节点的主要职责是和集群操作相关的内容，如创建或删除索引，跟踪哪些节点是群集的一部分，并决定哪些分片分配给相关的节点。稳定的主节点对集群的健康是非常重要的。

​ 默认情况下任何一个集群中的节点都有可能被选为主节点。索引数据和搜索查询等操作会占用大量的cpu，内存，io资源，为了确保一个集群的稳定，分离主节点和数据节点是一个比较好的选择。虽然主节点也可以协调节点，路由搜索和从客户端新增数据到数据节点，但最好不要使用这些专用的主节点。一个重要的原则是，尽可能做尽量少的工作。

创建一个独立的主节点只需在配置文件中添加如下内容：

node.master: true 

node.data: false

为了防止数据丢失，配置discovery.zen.minimum_master_nodes设置是至关重要的

（默认为1），每个主节点应该知道形成一个集群的最小数量的主资格节点的数量。

解释如下：

​ 假设我们有一个集群。有3个主资格节点，当网络发生故障的时候，有可能其中一个节点不能和其他节点进行通信了。这个时候，当discovery.zen.minimum_master_nodes设置为1的时候，就会分成两个小的独立集群，当网络好的时候，就会出现数据错误或者丢失数据的情况。当discovery.zen.minimum_master_nodes设置为2的时候，一个网络中有两个主资格节点，可以继续工作，另一部分，由于只有一个主资格节点，则不会形成一个独立的集群，这个时候当网络回复的时候，节点又会从新加入集群。

设置这个值的原则是：

（master_eligible_nodes / 2）+ 1

这个参数也可以动态设置：

PUT localhost:9200/_cluster/settings

{

  “transient”: {

    “discovery.zen.minimum_master_nodes”: 2

  }

}

数据节点说明

​ 数据节点主要是存储索引数据的节点，主要对文档进行增删改查操作，聚合操作等。数据节点对cpu，内存，io要求较高，在优化的时候需要监控数据节点的状态，当资源不够的时候，需要在集群中添加新的节点。数据节点的配置如下：

node.master: false 

node.data: true

数据节点路径设置,每一个主节点和数据节点都需要知道分片，索引，元数据的物理存储位置，path.data默认位为 $ES_HOME/data，可以通过配置文件 elasticsearch.yml进行修改，例如:

path.data:  /data/es/data/

这个设置也可以在命令行上执行，例如：

./bin/elasticsearch –path.data /data/es/data

这个路径最好进行单独配置，这样Elasticsearch的目录和数据的目录就会分开。当删除了Elasticsearch主目录的时候，不会影响到数据。通过rpm安装默认是分开的。 
数据目录可以被多个节点共享，甚至可以属于不同的集群，为了防止多个节点共享相同的数据路径，可以在配置文件elasticsearch.yml中添加：node.max_local_storage_nodes: 1

注意：在相同的数据目录不要运行不同类型的节点（例如：master, data, client）这很容易导致意外的数据丢失。

客户端节点说明

​ 当主节点和数据节点配置都设置为false的时候，该节点只能处理路由请求，处理搜索，分发索引操作等，从本质上来说该客户节点表现为智能负载平衡器。独立的客户端节点在一个比较大的集群中是非常有用的，他协调主节点和数据节点，客户端节点加入集群可以得到集群的状态，根据集群的状态可以直接路由请求。 
警告：添加太多的客户端节点对集群是一种负担，因为主节点必须等待每一个节点集群状态的更新确认！客户节点的作用不应被夸大，数据节点也可以起到类似的作用。配置如下：

node.master: false 

node.data: false

部落节点说明

​ 部落节点可以跨越多个集群，它可以接收每个集群的状态，然后合并成一个全局集群的状态，它可以读写所有节点上的数据，部落节点在elasticsearch.yml中的配置如下：

tribe:

    t1: 

        cluster.name:   cluster_one

    t2: 

        cluster.name:   cluster_two

T1和T2是任意的名字代表连接到每个集群。上面的示例配置两集群连接，名称分别是T1和T2。默认情况下部落节点通过广播可以做为客户端连接每一个集群。大多数情况下，部落节点可以像单节点一样对集群进行操作。

注意：以下操作将和单节点操作不同， 
如果两个集群的名称相同，部落节点只会连接其中一个。由于没有主节点，当设置local为true的是，主节点的读操作会被自动的执行，例如：集群统计，集群健康度。主节点级别的写操作将被拒绝，这些应该是在一个集群进行。部落节点可以通过块(block)设置所有的写操作和所有的元数据操作，例如：

tribe:

    blocks:

        write:    true

        metadata: true

部落节点可以也可以在选中的索引块中进行配置，例如：

tribe:

    blocks:

        write.indices:    hk*,ldn*

        metadata.indices: hk*,ldn*

当多个集群有相同的索引名的时候，默认情况下，部落的节点将选择其中一个。这可以通过tribe.on_conflict setting进行配置，可以设置排除那些索引或者指定固定的部落名称。

 java 连接Elasticsearch

可以通过两种方式来连接到elasticsearch集群

  1. 在你的程序中创建一个嵌入es节点（Node），使之成为es集群的一部分，然后通过这个节点来与es集群通信

    Node node = NodeBuilder.nodeBuilder().clusterName(CLUSTERNAME).client(true).node();
Clientclient = node.client();
     
     
    • 1
    • 2
    
     
     
    • 1
    • 2

    默认的话启动一个节点，es集群会自动给它分配一些索引的分片，如果你想这个节点仅仅作为一个客户端而不去保存数据，你就可以设置把node.data设置成false或 node.client设置成true。

  2. 通过TransportClient这个接口和es集群通信（推荐）

Settings settings = Settings.settingsBuilder()
    .put("cluster.name", CLUSTERNAME)
    .put("client.transport.sniff", true).build();
client = TransportClient.builder().settings(settings).build()
     .addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName("host1"), PORT))
     .addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName("host2"), PORT));
   
   
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

   
   
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

参数：

client.transport.sniff

​ true表示让客户端去嗅探整个集群的状态，把集群中其它机器的ip地址加到客户端中，这样做的好处是不用手动设置集群里所有集群的ip到连接客户端，它会自动帮你添加，并且自动发现新加入集群的机器

client.transport.ping_timeout

​ 连接超时时间

client.transport.nodes_sampler_interval

​ 心跳时间


今晚打酱油8
关注
专栏目录
如何规划 ElasticSearch 集群规模和容量？
wenyusuran的专栏
01-02 2239
0、引言 实战中经常遇到的问题： 问题 1：请问下大家是如何评估集群的规模？比如数据量达到百万，千万，亿万，分别需要什么级别的集群，这要怎么评估？ ps：自己搭建的测试环境很难达到这一级别。 问题 2： 问题 3：我看了很多文章关于 es 集群规划的文章，总感觉乱七八糟的，没有一个统一的规划思路。如何根据硬件条件和数据量来规划集群，设置多少节点，每个节点规划多...
ElasticSearch 不同角色分工
u014296502的专栏
09-22 638
节点作用 ES 是一个分布式全文检索引擎，既然是分布式那一定是设计多个节点甚至多个集群。为什么需要分布式呢？试想一下，如果 ES 节点只设计成一个，那么这个节点会涉及哪些工作呢？ 首先该节点应该具备响应用户的读写操作 该节点应该具备存储数据的能力 ES应该具备协调多个用户集体请求的操作 另外 ES 会自动映射用户输入的数据类型，因此ES应该具备自动映射数据类型的操作 节点优化 当然这些只是这个...
Elasticsearch笔记九之优化
ty4315的专栏
09-13 4003
elasticsearch优化，极速查询
云计算平台(检索篇)-Elasticsearch-索引优化篇
weixin_30826761的博客
12-06 218
ES索引优化篇主要从两个方面解决问题，一是索引数据过程；二是检索过程。 索引数据过程我在上面几篇文章中有提到怎么创建索引和导入数据，但是大家可能会遇到索引数据比较慢的过程。其实明白索引的原理就可以有针对性的进行优化。ES索引的过程到相对Lucene的索引过程多了分布式数据的扩展，而这ES主要是用tranlog进行各节点之间的数据平衡。所以从上我可以通过索引的settings进行...
【Elasticsearch 性能优化全面指南】
最新发布
2401_84664550的博客
08-20 1337
在当今数据处理领域，Elasticsearch（简称 ES）因其强大的搜索和分析能力而得到了广泛的应用。无论是构建搜索引擎、进行数据分析，还是实现实时监控，ES 都能发挥重要的作用。然而，随着数据量的不断增长和业务需求的日益复杂，如何优化 ES 的性能以提升系统效率和用户体验成为了一个关键问题。性能优化不仅可以提高查询响应速度，减少资源消耗，还能确保系统在高负载下的稳定性。
Elasticsearch如何做到亿级数据查询毫秒级返回？
weixin_34021089的博客
05-28 8639
这个问题说白了，就是看你有没有实际用过 ES，因为啥？其实 ES 性能并没有你想象中那么好的。 很多时候数据量大了，特别是有几亿条数据的时候，可能你会懵逼的发现，跑个搜索怎么一下 5~10s，坑爹了。 第一次搜索的时候，是 5~10s，后面反而就快了，可能就几百毫秒。 你就很懵，每个用户第一次访问都会比较慢，比较卡么？所以你要是没玩儿过 ES，或者就是自己玩玩儿 Demo，...
elasticsearch使用_Elasticsearch使用优化之拙见
weixin_39923945的博客
11-30 395
点击上方“方志朋”，选择“设为星标”做积极的人，而不是积极废人Elasticsearch常常作为日志存储和分析的工具，在企业级应用中常常使用。Elasticsearch提供强大的搜索、分析功能，已经是后端技术栈不可缺少的一部分。在维护ElastciSearch集群的时候，对Elasticsearch进行了一些调优和分析，现整理成文，纯属拙见，如果有不合理之处，欢迎指出探讨。我所使用的El...
ElasticSearch 常用的优化手段总结
qq_39144436的博客
04-30 790
1.常见优化 设计阶段调优 （1）根据业务增量需求，采取基于日期模板创建索引，通过 roll over API 滚动索引； （2）使用别名进行索引管理； （3）每天凌晨定时对索引做 force_merge 操作，以释放空间； （4）采取冷热分离机制，热数据存储到 SSD，提高检索效率；冷数据定期进行 shrink操作，以缩 减存储； （5）采取 curator 进行索引的生命周期管理； （6）仅针对需要分词的字段，合理的设置分词器； （7）Mapping 阶段充分结合各个字段的属性，是否需要检索、是否需
2024年最新【ES专题】ElasticSearch集群架构剖析_es集群，系列篇
2301_79098963的博客
05-05 891
诸如。
ElasticSearch全流程，看这篇我也懂了
Cr1556648487的博客
10-17 542
es提供了很多search api，例如match_query,term_query等等，可以很方便的组装query DSL(Domain Specific Language)，且开发人员不需要考虑DSL中query的顺序，dsl中query的顺序不会影响最后的执行效率，真正的执行顺序会在CBO(Cost Based Optimizer)后进行重排。ES返回的doc默认会按照_score（文档相关性）降序排列，即算分后的分数值，如果指定了其他的Sort字段，就会按照指定的字段排序。
Elasticsearch 结合大数据产品最佳实践
weixin_45906054的博客
03-28 2414
摘要：本文整理自阿里云解决方案架构师闫勖勉（三秋）在 阿里云Elasticsearch 自研引擎年度发布 的演讲。主要内容包括：Elasticsearch与大数据经典应用与案例分析Tips：点击「阅读原文」查看原文视频一、Elasticsearch与大数据1、Elasticsearch 是什么？Elasticsearch（简称 ES）是业内最主流的信息检索、分析引擎，...
Elasticsearch优化
IT从业者
11-27 2610
es搜索优化
elasticsearch参数优化
wqy1200的专栏
05-28 1585
写入速度优化 提升写入速度从以下几方面入手： · 加大translog flush间隔，目的是降低iops、writeblock。 ES 2.x开始，在默认设置下，translog的持久化策略为：每个请求都“flush”。对应配置项如下： index.translog.durability: request 由于数据既没有刷到Lucene,translog也没有刷盘，恢复时translog中没有这个数据，数据丢失），则调整translog持久化策略为周期性和一定大小的时候“flush”，例如： index.
Elasticsearch 参数优化
天机玄正
07-13 1042
1、JVM参数 -Xms2g # 最小堆内存,改为服务器内存的一半,如32G内存服务器,则配置16G-Xmx4g # 最大堆内存,改为服务器内存的一半,如32G内存服务器,则配置16G`修改...
ElasticSearch索引优化
人生就是不断地学习
01-13 609
ElasticSearch索引优化
elasticsearch优化总结
赵英超的博客
10-09 4027
 一、 硬件环境选择：  如果有条件，尽可能使用SSD硬盘， 不错的CPU。ES的厉害之处在于ES本身的分布式架构以及lucene的特性。IO的提升，会极大改进ES的速度和性能。 二、系统拓朴设计：  ES集群在架构拓朴时，一般都会采用Hot-Warm的架构模式，即设置3种不同类型的节点：Master节点、Hot 节点和 Warm节点。  Master节点设置：一般会设置３个专用的maste节点，...
Elasticsearch参数调优
shykevin的博客
05-14 1147
一、概述 为了避免Elasticsearch性能不足，需要对默认参数做一些优化。 本文采用elasticsearch:7.10.1，切勿低于7.x版本。 二、系统层面调优 系统层面的调优主要是内存的设定与避免交换内存。 ES 安装后默认设置的堆内存是1GB，这很明显是不够的，那么接下来就会有一个问题出现：我们要设置多少内存给 ES 呢？ 其实这是要看我们集群节点的内存大小，还取决于我们是否在服...
Elasticsearch索引（写入）性能优化
nanguo123的专栏
08-09 1273
索引（写入）性能优化使用bulk请求使用多线程发送数据到Elasticsearch增加刷新（refresh）间隔在初始加载时禁用刷新和副本禁用内存交换（swap）为文件系统缓存提供内存使用自动生成ID使用更快的硬件索引缓冲区的大小禁用_field_names强制合并（merge）Translog设置 使用bulk请求 批量请求将比单文档索引请求产生更好的性能。为了知道批量请求的最佳大小，您应该在具有单个分片的单个节点上运行基准测试。首先尝试一次索引 100 个文档，然后是 200，然后是 400，等等。在每
编程语言学习资源大汇集
9. **性能优化**：理解JavaScript的执行机制，如垃圾回收和V8引擎的优化特性，可以帮助编写更高效的代码。 10. **调试和测试**：学会使用浏览器的开发者工具进行调试，以及使用单元测试和集成测试确保代码质量。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值