es创建索引数量多了好还是少了好_ES优化看这10条就够了

最新推荐文章于 2024-02-02 11:19:33 发布
VIP文章 最新推荐文章于 2024-02-02 11:19:33 发布
阅读量2.1k 收藏 1
点赞数
文章标签： es创建索引数量多了好还是少了好
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39681644/article/details/113564588
版权

十条优化带你的ES飞起来

1、bool 查询的 filter 筛选

众所周知，ES中filter是不参与相关性评分的，所以查询子句可以被系统进行缓存，性能要高于普通的query查询。

bool查询中支持4种子句，分别是filter、must、must_not、should，其中filter和must_not属于过滤器，过滤器查询先于其它查询执行。

另外在function_score、constant_score中也可以使用filter子句进行查询缓存。

2、设置indices.memory.index_buffer_size

indices.memory.index_buffer_size默认是jvm大小的10% ，将该值调大到20%，经常查询的索引分片数据会被缓存，当该值足够大时缓存的数据就会更多，查询就会更快。

3、segment merge

增加 Index Refresh 间隔，目的是减少 Segment Merge 的次数，建议设置为30s-90s

定期将只读或写少的索引进行segment合并，降低segment数量对搜索性能提升帮组很大，合并过程中将only_expunge_deletes设置为true意思是将标记为删除的数据清除掉。

4、SearchType

SearchType默认是QUERY_THEN_FETCH，可在查询时指定为dfs_query_then_fetch，这样协调节点只需要请求一次数据节点就可以完成请求处理了。

5、预排序 IndexSorting

ES 6.x之后新增预排序功能，即索引在创建之前可以指定数据写入后的排序方式，当query时指定的排序方式和预排序逻辑一致时将能够很快获得排

最低0.47元/天 解锁文章
weixin_39681644
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Elasticsearch的分布式架构、负载均衡、高可用以及容错性看这一篇就够了
02-24
开箱即用，简单粗暴Elasticsearch天然支持分布式和集群，开箱即用，零配置，零改动。自动分片一个index默认5个primaryshard，那么我们创建一个document，他给我们分配到哪个shard上了呢？搜索的时候又是怎么知道我们搜的这个document再哪个shard上呢？这都是es内部为我们做好的，开发者完全不用关心。自动集群发现英文：clusterdiscovery。我们本机启动两个es实例，也就是两个node节点，默认集群名称是elasticsearch，所以他会自动将这两个node凑成一个集群，我们什么都不用配置，它自动发现。shard负载均衡假设我们有1个index，
Elasticsearch中一个索引和几百个索引，哪个性能高
记录技术上的一些解决方案
10-13 194
如果你的查询通常会跨越多个索引，那么拥有多个小索引可能更有效率，因为它可以将查询分散到多个分片中并并行执行。然而，如果你的查询主要在一个索引中执行，那么一个大索引可能更好，因为它避免了多次索引之间的切换开销。根据你的应用程序需求、数据模型和硬件配置，可能需要尝试不同的索引策略，然后监测性能以做出最终的决定。：单个大索引可能会更快，因为它减少了跨多个索引的操作的复杂性。然而，如果一个索引变得过于庞大，可能会导致性能下降，因为在处理大型索引时可能会遇到磁盘I/O或内存限制。
elasticsearch 索引数据多了怎么办，如何调优，部署
最新发布
qq_33240556的博客
02-02 492
总之，对于大数据量的Elasticsearch集群，除了基础的硬件扩容外，更关键的是要结合具体的业务特点和查询模式来进行细致的调优和策略规划。
Spring Boot elasticsearch7.6.2基础操作：创建索引、新增数据、查询数据
04-29
Spring Boot elasticsearch7.6.2基础操作：创建索引、新增数据、查询数据
Elasticsearch的索引，单field索引和多field的联合索引
01-20
作为一个分布式可扩展的实时搜索和分析引擎，一个建立在全文搜索引擎 Apache Lucene基础上的搜索引擎。Elasticsearch 可以用于：分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索；实时分析的分布式搜索引擎；可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据。 Elasticsearch的文件存储   Elasticsearch是面向文档型数据库，一条数据在这里就是一个文档，用JSON作为文档序列化的格式，比如下面这条用户数据： { name : XiaoMing, sex : Male, age
elasticsearch_ES_Elasticsearch界面_elasticsearch_源码
10-04
一个搜索框架的管理界面项目，可以监控管理相关的微服务
es创建索引数量多了好还是少了好_elasticsearch 索引数据多了怎么办，如何调优，部署 ?...
weixin_39526564的博客
12-23 1505
想了解大数据量的运维能力。解答：索引数据的规划，应在前期做好规划，正所谓“设计先行，编码在后”，这样才能有效的避免突如其来的数据激增导致集群处理能力不足引发的线上客户检索或者其他业务受到影响。如何调优，正如问题 1 所说，这里细化一下：3.1动态索引层面基于模板+时间+rollover api 滚动创建索引，举例：设计阶段定义：blog 索引的模板格式为：blog_index_时间戳的形式，每天递...
ElasticSearch优化建议
oZhenDe的博客
01-01 535
尽量运行在Sun/Oracle JDK1.7以上环境中，低版本的jdk容易出现莫名的bug，ES性能体现在在分布式计算中，一个节点是不足以测试出其性能，一个生产系统至少在三个节点以上。 ES集群节点规划良好，master、node、client分离开来，data节点关闭http功能。 合理利用内存。 a) JVM内存设置不要超过机器的一半内存，并且不超过32G。（./bin/elasticsear
Elasticsearch索引数量限制
m0_67403076的博客
08-16 866
Elasticsearch的索引可以无限创建吗？
elasticsearch 索引太多太大会影响写入性能吗？
热门推荐
1
08-21 1万+
https://elasticsearch.cn/question/3595 小弟使用filebeat+kafka+logstash+elasticsearch的模式收集log，现在log大约每天150g左右，kafka的消费速度非常慢，总是有大量log堆积，现在elasticsearch集群分布在5台机器上12核12g的机器，是哪里不对吗？ ...
Elasticsearch深入学习 (二) 索引创建及分片优化经验
qq_37203082的博客
03-26 2356
Elasticsearch深入学习 (二) 索引创建及分片优化经验
【Elasticsearch】索引和查询性能调优的21条建议-以及调优参数
九师兄
10-09 2770
转载：https://www.cnblogs.com/sanduzxcvbnm/p/12624662.html 1.Elasticsearch部署建议 1.1. 选择合理的硬件配置：尽可能使用 SSD Elasticsearch 最大的瓶颈往往是磁盘读写性能，尤其是随机读取性能。使用SSD（PCI-E接口SSD卡/SATA接口SSD盘）通常比机械硬盘（SATA盘/SAS盘）查询速度快5~10倍，写入性能提升不明显。 对于文档检索类查询性能要求较高的场景，建议考虑 SSD 作为存储，同时按照 1:10 的比.
【ES实战】如何规划索引
coding and writing
12-16 3731
规划索引包含如何调整索引的主分片数，副本分片数和分片存储大小，以及如何根据数据量的变化进行相关的调整。
es创建索引数量多了好还是少了好_Elasticsearch性能优化总结
weixin_39914049的博客
12-23 1700
Elasticsearch是目前大数据领域最热门的技术栈之一，经过近8年的发展，已从0.0.X版升级至6.X版本，虽然增加了很多的特性和功能，但是在主体架构上，还是没有太多的变化。下面就把我对于ES使用实践的一些经验总结一下，供大家参考；也请大家拍砖。一、 硬件环境选择：如果有条件，尽可能使用SSD硬盘， 不错的CPU。ES的厉害之处在于ES本身的分布式架构以及lucene的特性。IO的提升，会极...
1TB数据利用elasticsearch做索引，是建立一个索引好还是建立多个索引比较好
记录技术上的一些解决方案
10-12 189
综上所述，没有一种通用的答案适用于所有情况。你需要根据你的具体需求、硬件资源和数据特性来做出决定。通常来说，在数据可以自然分割并且查询模式可以受益于多个索引时，建立多个索引可能会更合适。然而，如果你的数据具有强烈的关联性，或者你希望简化管理，建立一个索引可能更好。同时，也可以考虑使用索引别名等方法来简化查询操作。当你有1TB的数据需要使用Elasticsearch进行索引时，需要考虑多方面的因素来决定是建立一个索引还是建立多个索引。
elasticsearch 索引数据多了怎么办，如何调优，部署？
qq_33240556的博客
12-06 709
总之，针对Elasticsearch索引数据量增长的情况，可以通过增加索引规模、优化数据类型、调整内存设置、优化查询性能、增加硬件资源、分布式部署、监控和日志以及备份和恢复等措施来进行调优和部署。
Elasticsearch 索引数据多了怎么办，如何调优，部署？
m0_55070913的博客
09-02 759
基于模板+时间+rollover api滚动创建索引，举例：设计阶段定义：blog索引的模板格式为：blog_index_时间戳的形式，每天递增数据。这样做的好处：不至于数据量激增导致单个索引数据量非常大，接近于上线2的32次幂-1，索引存储达到了TB+甚至更大。冷热数据分离存储，热数据（比如最近3天或者一周的数据），其余为冷数据。一旦之前没有规划，这里就属于应急策略。结合ES自身的支持动态扩展的特点，动态新增机器的方式可以缓解集群压力，注意：如果之前主节点等规划合理，不需要重启集群也能完成动态新增的。
es搜索大量多个索引
xyhshen的博客
07-24 4195
最近碰上一个麻烦的问题，要搜索多个索引，查了查资料，下面这些是比较常见的： /index1,index2/_search /*1,*2/_search /index*/_search /all/_search 另外还有别名搜索，全部取一个别名 但是我这问题有点不同，我要搜索的索引特别多，而且还没有规律可循，既不能用别名，索引太多又不能全堆到url里，毕竟url长度有限 这里找到了一个通过multi search方式解决的思路，可以把索引名字放到body里 multi search不用_search而是_m
怎样合理创建es索引_Elasticsearch(ES)创建索引
06-03
要合理创建 Elasticsearch（ES）索引，需要考虑以下几个方面： 1. 确定索引的名称：ES中的索引名称应该简洁明了，能够清楚地表达索引的用途或内容。 2. 确定索引的字段：确定需要存储的字段以及字段的类型。在创建索引时，需要指定每个字段的映射类型，包括文本、数字、日期等等。 3. 确定分片和副本：根据数据量和查询负载来确定分片和副本的数量，以实现最佳性能和可用性。 4. 配置索引分析器：ES中的分析器用于将文本字段拆分成单词，并将这些单词标准化以便于搜索。可以根据需要配置合适的分析器。 5. 配置索引设置：根据需要配置索引的相关设置，包括存储大小、写入限制、刷新间隔等等。 6. 优化索引性能：可以通过调整索引缓存、启用压缩、设置合理的索引刷新间隔等方式来优化索引性能。 创建索引的基本语法如下： ``` PUT /索引名称 { "settings": { "number_of_shards": 分片数量, "number_of_replicas": 副本数量 }, "mappings": { "properties": { "字段名称": { "type": "字段类型" } } } } ``` 例如，创建一个名为“my_index”的索引，包含“title”和“content”两个字段，其中“title”为文本类型，而“content”为长文本类型，可以使用以下命令： ``` PUT /my_index { "settings": { "number_of_shards": 5, "number_of_replicas": 1 }, "mappings": { "properties": { "title": { "type": "text" }, "content": { "type": "text", "analyzer": "english" } } } } ``` 以上是创建索引的基本步骤和语法，根据实际需求，可以进一步配置索引的设置和优化性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值