- 博客(688)
- 资源 (19)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 最近几个典型 Elasticsearch 线上易出错难排查问题汇集，咱们得避免！
1、主节点设置1个，但是宕机了，集群咋办？有人试过唯一的 master 所在的主机恢复不了了，可以配置其他数据节点作为 master 恢复集群吗？1.1 问题描述多节点集群，但只设置一个候选主节点，但这个主节点所在的物理机出故障了，怎么办？1.2 问题拆解分析第一直觉——这里的关键在于：咱们得有多个候选主节点。如果没有，这个没法再次选主。在 Elasticsearch 中，集群的稳健性和高可用性是...
2023-12-19 07:31:02
1050
原创 Elasticsearch 查询革新：探索 Wildcard 类型的高效模糊匹配策略
1、背景在生产使用中，Elasticsearch 除了精确匹配的要求，也会有模糊查询的场景。2、解决方案探讨面对这种问题 ，传统的解决方案有两种：2.1 方案一：ngram 分词器使用 ngram 分词器对存入的数据进行精细化的拆分，利用细颗粒度的 token 进行快速的召回。这是一个利用空间换时间的方案，细化查询所需的词根内容，利用精确匹配结果大范围的命中来达到模糊效果。PUTtest-005...
2023-12-12 07:30:30
1742
原创 ElasticON AI 2023大会回顾：深入探索 Elasticsearch 与人工智能的融合之路
简介在2023年的 ElasticON AI大会上，我们见证了Elasticsearch如何通过融合人工智能技术来推动搜索引擎的发展。这篇博客旨在为Elastic技术从业者提供一份详实的技术总结，涵盖会议中的主要讨论点，并深入解析这些创新如何影响我们处理数据和信息的方式。一、Elasticsearch 的演变与创新1.Elasticsearch的起源与发展Elastic的创始人兼首席技术官Sh...
2023-12-11 07:15:21
877
原创 Elasticsearch 优化查询中获取字段内容的方式，性能提升5倍！
1、背景集群配置为：8 个 node 节点，16 核 32G，索引 4 分片 1 副本。应用程序的查询逻辑是按经纬度排序后找前 200 条文档。1、应用对查询要求比较高，search 没有慢查询的状态。2、集群压测性能不能上去，cpu 使用未打满，查询的 qps 上不去，且有队列堆积。2、优化方法通过云厂商内核组的同学抓取火焰图发现，主要消耗在 fetch phrase 阶段。ES 默认从_sou...
2023-12-01 21:08:18
1750
4
原创 学习的过程不只是知识查找，社群的价值是陪伴！
——来自Elastic中文社区深圳站主席杨振涛大佬的评价！感触非常深。随着技术的快速发展，我们的获取信息和知识的方式也在日新月异地变化。人工智能和深度学习技术如 OpenAI 的 ChatGPT ，已经成为许多人获取知识的首选方式，而这无疑对我们传统的社群学习和搜索引擎带来了巨大的冲击。然而，我们不能忘记一件事：学习的过程不仅仅是寻找和获取知识，更重要的是我们与他人的交互和共享。这就是为什么我坚信...
2023-11-27 07:35:39
928
原创 Elasticsearch 线上实战问题及解决方案探讨
1、reindex相关问题1.1 问题描述我有 1tb 的一个大索引若干，要迁移到另外一个新集群去，有没有好办法？reindex好像会中断......reindex 是不是就算设置了频率也会莫名的中断，而且没地方查到错误？1000多万的数据，大概80G 用reindex有时候都会莫名的断。有时候是全的，有时候不全。https://t.zsxq.com/14pVGxDdv1.2 问题认知对于大型索...
2023-11-27 07:35:39
988
原创 Elasticsearch 中文社区的转型后，搜索人怎么破局？
引言近年来，Elasticsearch 中文社区（现更名为搜索客，欢迎大家关注）的活跃度明显下降。这一现象不仅反映了技术社区的自然演变，也是时代发展的缩影。本文旨在探讨造成这一变化的原因，并提出搜索技术人未来的发展策略。1、外部原因分析1.1 开源协议的变更Elasticsearch 在 Elastic 公司和 AWS 公司的拉锯战中，经历了开源协议的重大变更。这不仅影响了社区的稳定性，还导致了用...
2023-11-21 07:35:44
243
原创 干货 | Elasticsearch 8.11 ES|QL 初体验
这里没有理论，只有验证后的结论和体验。前提：这是 8.11 版本的新功能，必须提前安装最新 8.11 版本。1、对比参考实现1.1 DSL 原始语法POSTkibana_sample_data_ecommerce/_search1.2 ES|QL 检索语法， 类似SQL实现POST/_query?format=txt{"query":"""FROMkibana_sample_da...
2023-11-13 07:36:10
450
原创 Elasticsearch 8.X 如何生成 TB 级的测试数据 ?
1、实战问题我只想插入大量的测试数据，不是想测试性能，有没有自动办法生成TB级别的测试数据？有工具？还是说有测试数据集之类的东西？——问题来源于 Elasticsearch 中文社区https://elasticsearch.cn/question/131292、问题解析其实类似的问题之前在社群也经常被问到。实战业务场景中在没有大规模数据之前，可能会构造生成一些模拟数据，以实现性能测试等用途。真实...
2023-11-03 00:01:28
1053
原创 见到了樊登老师本人......
接近一个月前，偶然的机会，老婆告诉我，樊登老师要来咱们这里做演讲了，你去听听吧。我毫不犹豫第一时间买了票。终于等到今天去能容纳 3500 人的羽毛球馆现场听了演讲。我最早也不认可听书的，早年知识付费火的时候，我关注得到多一些，买过不少课程。比如梁宁的产品课、吴军的硅谷来信课程、华杉讲营销、华杉孙子兵法等。其实，早期的目的就是打开认知，拓宽思维的边界！关于读书，每年都会读。但是大部头的书自己一方面是...
2023-10-29 00:31:22
139
原创 Elasticsearch 8.X 分词插件版本更新不及时解决方案
1、关于 Elasticsearch 8.X IK 分词插件相关问题球友在 ElasticSearch 版本选型问题中提及：如果要使用ik插件，是不是就使用目前最新的IK对应elasticsearch的版本“8.8.2”？https://github.com/medcl/elasticsearch-analysis-ik/releases/tag/v8.8.2如果要使用最新es版本，而IK没有对应...
2023-10-20 23:06:42
1307
原创 在“裹挟”中前行，人生第一次半程马拉松已完成！
人生很多时候都面临挑战，学生阶段的中考、高考、考研等......毕了业之后，仿佛进入了很长时间的舒适区，挑战没有所谓的“考试”来证明，更多是的工作的完成度、完成效率、领导的满意度、客户的满意度，专业点的说法叫干系人的满意度。其实仔细想想这些挑战都没有什么，只要平时工作到位，剩下的就是时间，干的好会自然“水到渠成”，干不好，貌似也不能怎么样......人类极限的跑步挑战，我一直“心之所向”，但念于工...
2023-10-17 07:28:54
117
原创 那些 ChatGPT4 也搞不定的 Elasticsearch 问题，请抛给我们！
1、需求公众号后台或私信会不定期收到来自一些传统企业或中小型互联网公司的 Elasticsearch 相关项目、产品的架构设计、方案设计、运维、性能优化等的需求。类似需求可大致分为如下几类：一、企业有外包需求，期望 Elasticsearch 相关部分整包给外部团队完成。模块相对独立，期望完成全文检索、满足特定需求的检索和数据分析需求，需要整包出去。项目已经完成，但是需要运维维护，当下技术团队实力...
2023-10-08 17:43:56
166
原创 Elasticsearch 8.10 同义词管理新篇章：引入同义词 API
Elasticsearch 的同义词功能是一个重要的文本分析工具，特别是在全文搜索应用中。同义词机制使得用户能够建立一个同义词库，以处理一词多义、多词同义等情况，从而增强搜索的准确性和丰富性。1、同义词在搜索引擎领域用途同义词在搜索引擎领域的用途可概括如下：增强搜索的准确性——当用户输入一个关键词时，可能与他们实际意图相关的文档使用了一个不同的关键词或短语。同义词允许搜索引擎理解和识别这些情况，返...
2023-10-08 17:43:56
696
原创 重磅 | 死磕 Elasticsearch 8.X 方法论认知清单（2023年国庆更新版）
每个人都会犯错，别再让相同的错误一再发生，别再让我们为那些错误付出沉痛的代价。清单不是写在纸上的，而是印在心上的。我们别无选择，清单，正在一步步变革我们的生活，变革这个复杂的世界......——[美] 阿图-葛尔德《清单革命》01Elasticsearch 学习方法论1. 如何系统的学习 Elasticsearch ？2. 视频 | 零基础如何学习 Elasticsearch？3. 必备 | E...
2023-09-27 06:00:51
313
原创 Elasticsearch 8.X：这个复杂的检索需求如何实现？
1、企业级真实问题问题描述如下：如上图所示，index中有这样四个字段：title content question answer。要查询这四个字段，支持最多输入5个关键词模糊查询，多关键词以空格隔开。匹配度计算逻辑：关键词有序排列 ，权重依次降低，即排列在前的关键词权重最高，依此降低；检索顺序和结果顺序一致的排在前面。title（question）较content（answer）权重高，比如...
2023-09-25 07:45:40
338
原创 实战问题：Elasticsearch 2.X 数据如何迁移到 7.X？
1、实战问题老师，我想请问一下，我们有个版本是2.4.x版本的es，想把他里面的数据(数据量比较大,十几T）导入到7.10.x版本，但是升级版本，需要的变更太多，只能选择数据迁移，不知道用什么方法去迁移，老师能给一些建议吗？死磕 Elasticsearch 知识星球 https://t.zsxq.com/1250CqALT2、问题拆解回复从 Elasticsearch 2.4.x 到 7.10.x...
2023-09-18 19:56:37
194
转载 腾讯云 ES Serverless 初体验
导读我们在之前的文章，《浅谈Elasticsearch Serverless设计与选择》 中提到过，云上许多数据存储和分析应用正在向 Serverless 模式进行转变。Serverless 是对专有的、需要自管理的集群模式的一种极大补充，特别是对于需要灵活应对需求和负载的变化又不希望预付服务器租赁费用，同时，又期望能够减少运维和管理成本的企业来说，Serverless 不仅便宜，而且更适合快速的...
2023-09-11 07:35:30
137
原创 源码剖析：Elasticsearch 段合并调度及优化手段
1、背景经常看到集群的merge限流耗时比较高，所以想分析其原因、造成的影响、以及反思merge的一些优化手段。比如下图中测试集群相关监控截图：可是从磁盘的写入来看，并不高：那么目前的情况带来哪些影响？资源利用率低下从写IO监控可以看出，其实ES节点的IO压力并不大， 这导致IO资源的浪费pendingMerges队列增加，导致很多待合并的段一直等待队列中的元素迟迟无法得到处理，严重的甚至浪费内存...
2023-09-08 11:20:47
689
原创 Elasticsearch 8.X 可以按照数组下标取数据吗？
1、线上环境问题老师、同学们，有人遇到过这个问题么，索引中有一个 integer 数组字段，然后通过脚本获取数组下标为1的值作为运行时字段，发现返回的值是乱的，并不是下标为1的值， 具体如下:DELETEmy_indexPUTmy_index{"mappings":{"properties":{"price":{"type":"int...
2023-09-03 00:00:46
563
原创 从源码角度剖析 Elasticserach 段合并调优策略
1、背景TieredMergePolicy 作为 Elasticserach 默认的策略，和 LogMergePolicy 合并相邻的段不同，其合并大小相近的段。作为 ES 使用的段策略，它的核心思想是将索引段分成多个层次（tier），每个层次的段大小会有一个预设的上限。当某一层的段数量超过阈值或者某个段的大小达到阈值时，就会触发合并操作，将多个小段合并成一个较大的段。通俗理解分层为更好地辅助大家...
2023-08-29 17:23:56
361
原创 Elasticsearch 8.X reindex 源码剖析及提速指南
1、reindex 源码在线地址为方便大家验证，这里给出 reindex github 源码地址。https://github.com/elastic/elasticsearch/blob/001fcfb931454d760dbccff9f4d1b8d113f8708c/server/src/main/java/org/elasticsearch/index/reindex/ReindexRequ...
2023-08-23 07:35:09
914
原创 速览 | 官方认证费用调整，Elastic 认证最新动态......
1、认证费用调整细心的 Elastic 爱好者今天（2023年8月22日）群里反馈消息，Elastic 专家认证考试的费用已由原来的 400 美元调整为 500 美元。不止于此，ECA 认证、ECOE 认证的资费都上浮了 100 美元（折合人民币：729.5元）。认证类型当前费用费用变化考试版本ECE认证500美元上浮100美元8.1 版本ECA认证400美元上浮100美元7.15 版本（很可能会...
2023-08-22 18:38:34
222
原创 ChatGPT-4: 半年的深度使用思考
几个月的时间一直在使用 ChatGpt-4，以口述语音转文字的形式说一下自己的体会。1、选择版本大前提：我使用的都是 GPT4 的版本。也就是说至少每个月要付费20$。因为 3.5 的版本，实际上使用体验是非常差的，主要体现在答非所问上。这一点在四版本出来以后就很好的得到了解决。2、效率提升GPT4 的确能极大的提高我们的编码，文字撰写等的效率。这是毋庸置疑的事实。当然，个人认为国内的大模型至少短...
2023-08-19 15:05:27
1042
原创 Elasticsearch 8.X 复杂分词搞不定，怎么办？
1、实战问题球友提问：我想停用所有纯数字的分词 ， 官网上的这个方法好像对ik分词器无效！有没有什么别的方法啊， chart gpt 说分词可以用正则匹配 但是测试好像是不行的 我的es版本是 8.5.3。2、进一步沟通后，得到问题最精准描述我的查询内容可能是："北京市海淀区清华园10栋105"，ik_smart 中文分词结果为：“北京市”、“海淀区”、“清华园”、“10栋”、105。用...
2023-08-12 13:25:59
591
原创 干货 | 详述 Elasticsearch 向量检索发展史
1. 引言向量检索已经成为现代搜索和推荐系统的核心组件。通过将复杂的对象（例如文本、图像或声音）转换为数值向量，并在多维空间中进行相似性搜索，它能够实现高效的查询匹配和推荐。图片来自：向量数据库技术鉴赏【上集】（Ele实验室）Elasticsearch作为一款流行的开源搜索引擎，其在向量检索方面的发展也一直备受关注。本文将回顾 Elasticsearch 向量检索的发展历史，重点介绍各个阶段的特点...
2023-08-07 12:32:30
1576
2
原创 视频 | Elasticsearch 8.X 企业内训之最佳实践10 讲
当今大数据时代，有效管理和提取信息成为了许多企业和组织的首要任务。Elasticsearch 8.X 的推出，为企业提供了一个强大、灵活且高效的搜索和分析引擎，可以在几乎实时的情况下处理大规模的数据。为了帮助企业充分利用 Elasticsearch 8.X 的强大功能，我们特别推出了 "Elasticsearch 8.X 企业内训之最佳实践 10 讲" 系列视频，内容涵盖了从索引设计到性能优...
2023-08-03 07:35:47
148
原创 深度探索 Elasticsearch 8.X：function_score 参数解读与实战案例分析
在 Elasticsearch 中，function_score 可以让我们在查询的同时对搜索结果进行自定义评分。function_score 提供了一系列的参数和函数让我们可以根据需求灵活地进行设置。近期有同学反馈，function_score 的相关参数不好理解，本文将深入探讨 function_score 的核心参数和函数。1、function_score 函数的用途及适用场景Elastic...
2023-07-26 10:13:34
885
2
原创 Elasticsearch 源码探究 001——故障探测和恢复机制
1、Elasticsearch 故障探测及熔断背景探究Elasticsearch7.10.2 节点之间的故障探测以及熔断故障是怎么做的，思考生产上的最佳实践。服务端故障场景：单个master挂掉除了断点断网，状态同步异常，主master也会认为自己已经失败，会退出，然后选举新的masterElasticsearch 是一种基于点对点的系统，其中节点直接相互通信。主节点的职责是维护全局集群状态并在节...
2023-07-18 12:00:42
299
原创 Elasticsearch 集群某一节点修改 IP 后无法启动问题复盘
1、集群环境及问题描述集群版本：6.8.X集群节点：5节点（三个节点为主+数据节点，另外两个独立数据节点）。问题描述：由于IP冲突，修改了一台服务器的IP，然后5台配置改了一下一次重启，能启动，但是连不上，后台各种报错。2、问题讨论节点换 IP 原因探讨：宿主机服务器的IP地址和别的服务器IP 冲突，所以要修改一台服务器的 IP地址。不建议集群节点经常更换 IP，原因如下：频繁更换 Elastic...
2023-07-17 07:35:44
1639
转载 Elastic 认证专家考试团购报名第五季
0、Elastic认证专家考试介绍认证通过后，授予的徽章下方会有如上一段话：Elastic认证工程师拥有构建完整的Elasticsearch解决方案的技能。包含：包括部署、配置和管理Elasticsearch集群；将数据索引到这些集群中以及查询和分析索引数据的能力。为了获得此认证，候选人在三个小时内在多个Elasticsearch集群实战完成了一系列具有挑战性的实任务。Elastic认证简称 EC...
2023-07-14 22:03:16
226
原创 不要将数据库中的“分库分表”理论盲目应用到 Elasticsearch
1、问题描述近期在优化索引时，我遇到了一些挑战。我们的环境是7节点16*32G的机器，我在尝试内存优化。当前的文档总量为5亿，然而mapping设计和shard设计都出现了问题。每个节点上有480个shard，这是一个相当离谱的数量。当我试图分析内存消耗的时候，遇到了更大的问题。尽管 fielddata、completion、segments、query_cache和translog占用的内存量可...
2023-07-12 11:45:11
215
原创 Elasticsearch 8.X 聚合查询下的精度问题及其解决方案
1、线上环境问题咕泡同学提问：我在看runtime文档的时候做个测试， agg求avg的时候不管是double还是long，数据都不准确，这种在生产环境中如何解决啊？2、问题归类及出现场景上述问题可以归类为：Elasticsearch聚合查询下的精度问题。在日常的数据处理工作中，我们经常会遇到使用Elasticsearch进行大数据查询、统计、聚合等操作。Elasticsearch在实践中表现出优...
2023-07-08 12:52:51
1595
3
原创 10 分钟玩转Elastcisearch——数据可视化分析
在当今这个快速发展的科技时代，Elasticsearch 已经成为企业和开发者的重要技术工具。随着数据的爆发式增长，Elasticsearch 可以帮助个人和企业更好的理解数据、发现数据中的规律趋势和模式、并从海量数据中洞察业务价值。为了帮助开发者能够快速上手，阿里云MVP铭毅天下博主携手阿里云检索分析服务Elasticsearch版、阿里云开发者社区和 Elastic 公司，共同推出《10分钟玩...
2023-06-20 16:39:41
1236
原创 Elasticsearch 如何把评分限定在0到1之间？
本文题目来自微信群讨论。在 Elasticsearch 中，评分（或打分）通常在查询过程中进行，以判断文档的相关性。默认的打分机制使用的是 BM25，但你也可以通过自定义的打分查询（function_score）来自定义评分机制。然而，如果你想要将评分范围限定在0到1之间，你可能需要在查询中使用脚本来实现。Elasticsearch 的评分主要关注的是相关性排序，而不是确切的评分值，因此如果你想要...
2023-06-16 07:55:31
1112
原创 如何在 Elasticsearch 论坛/社群上提出高质量的技术问题？
在网络的海洋中寻求帮助，有时可能会让你感到茫然。你可能已经准备好详细描述你的问题，但如果你不知道如何有效地提问，你可能会发现自己在等待回答时感到挫败。这篇文章的目标是为你提供一些提示，让你更快地获取你在论坛上的技术问题的帮助。确切的说，如下内容来自 Elastic 官方社区，链接如下：https://discuss.elastic.co/t/dec-10th-2022-en-asking-top-...
2023-06-06 07:45:07
521
2
原创 Elasticsearch 8.X “图搜图”实战
1、什么是图搜图？"图搜图"指的是通过图像搜索的一种方法，用户可以通过上传一张图片，搜索引擎会返回类似或者相关的图片结果。这种搜索方式不需要用户输入文字，而是通过比较图片的视觉信息来找到相似或相关的图片。这项技术在许多不同的应用中都很有用，如找到相同或相似的图片，寻找图片的来源，或者识别图片中的物体等等。图像搜索的技术基础主要包括图像处理和机器学习等方面。通过图像处理，可以提取图像的特征（如颜色、...
2023-05-31 14:45:41
1725
2
原创 高维向量搜索：在 Elasticsearch 8.X 中利用 dense_vector 的实战探索
近年来，随着深度学习技术的发展，向量搜索引发了人们的广泛关注。早在 Elasticsearch在7.2.0 版本引入了dense_vector字段类型，支持存储高维向量数据，如词嵌入或文档嵌入，以进行相似度搜索等操作。在本文中，我将展示如何在Elasticsearch 8.X 版本中使用 dense_vector 进行向量搜索。一、背景介绍首先，我们需要了解一下dense_vector。dense...
2023-05-22 08:15:12
2654
原创 探索 Elasticsearch 8.X Terms Set 检索的应用与原理
1、Terms Set 检索简介Terms Set查询是Elasticsearch中一种强大的查询类型，主要用于处理多值字段中的文档匹配。其核心功能在于，它可以检索至少匹配一定数量给定词项的文档，其中匹配的数量可以是固定值，也可以是基于另一个字段的动态值。这种查询方式在处理具有多个属性、分类或标签的复杂数据时非常有用。2、Terms Set 检索产生背景Terms Set查询是Elasticsea...
2023-05-09 07:15:08
1153
原创 大模型时代，该如何更好的学习 Elasticsearch？
在当今这个快速发展的科技时代，Elasticsearch已经成为企业和开发者的重要技术工具。为了帮助大家更好地掌握Elasticsearch技术，死磕Elasticsearch知识星球应运而生，致力于打造最实用、最高效的Elastic技术学习社群。1、实力见证成就死磕Elasticsearch知识星球凭借专业的实力，帮助众多学员实现了Elastic认证梦想。迄今为止，已有150余位球友在这里成功通...
2023-05-04 13:09:39
377
Windows下libevent C++封装类实现
2016-12-11
C++内部培训讲义
2016-08-07
libcurl.lib下载（32bit和64bit）
2015-09-17
MFC动态划线实现源码
2013-03-30
（可视化文件消息一体化收发Socket实现V0.1说明文档
2013-03-17
可视化文件消息一体化收发Socket实现V0.1
2013-03-17
Windows Sockets 规范及应用
2010-12-20
路由器交换机配置命令详解.doc
2010-04-18
C++ 笔试面试宝典2009版.doc
2010-04-18
? Kerberos认证相关问题思路请教：
2013-11-03
求samba下的rpcclient工具使用方法？
2013-09-17
TA创建的收藏夹 TA关注的收藏夹
TA关注的人