- 博客(653)
- 资源 (19)
- 问答 (2)
- 收藏
- 关注
RSS订阅
原创 重磅 | 死磕 Elasticsearch 8.X 方法论认知清单（2022年国庆更新版）
每个人都会犯错，别再让相同的错误一再发生，别再让我们为那些错误付出沉痛的代价。清单不是写在纸上的，而是印在心上的。我们别无选择，清单，正在一步步变革我们的生活，变革这个复杂的世界......——[美] 阿图-葛尔德《清单革命》01Elasticsearch 学习方法论如何系统的学习 Elasticsearch ？视频 | 零基础如何学习 Elasticsearch？刻意练习 Elastics...
2022-09-28 07:16:17
2154
原创 干货 | Elasticsearch 8.X 实战视频合集（80 小时+）
1、Elasticsearch 进阶实战 10 讲（10小时+）1.1 进阶实战 10 讲视频地址https://t.zsxq.com/BAU33J61.2 进阶实战 10 讲包含内容Elasticsearch 全貌认知索引创建和搜索原理集群规划及节点角色规划最佳实践集群性能调优及原理数据建模最佳实践冷热集群架构实战索引生命周期管理ILM实战跨集群检索实战分片分配策略实战集群安全实战2、Elast...
2022-09-28 07:16:17
2016
1
原创 Elasticsearch 7.X 进阶实战视频课上线
1、Elasticsearch 7.X 进阶实战大纲课程地址：Elasticsearch 7.X 进阶实战视频课10个大选题来源于实战业务场景的提炼、总结。 Elasticsearch 全貌认知 Elasticsearch 索引创建和搜索原理 Elasticsearch 集群规划及节点角色规划最佳实践 Elasticsearch 集群性能调优及原理 Elasticsearch 数据建模实例讲解与实战技巧 Elasticsearch 冷温热架
2021-08-17 10:58:53
3485
原创 如何系统的学习 Elasticsearch ？
这是上一次技术直播里六个子主题中的最后一个主题的扩展版本。近期又有读者问到类似问题，我认为非常有必要花长时间梳理后跟大家分享一下。1、基础篇：零基础如何学 Elasticsearch ?常...
2021-03-11 21:46:54
10068
4
原创 潜心一技、做到极致！——Elastic认证工程师之路
20年2月3日我参加Elastic认证工程师考试，2020年2月5日中午得到认证结果：通过考试。趁热打铁，将Elastic认证工程师考试相关内容、经验教训等和盘而出，希望对后续参加考试的同学有所帮助。1、Elastic工程师有什么用？An Elastic Certified Engineer possesses the skills and is able to pe...
2020-02-07 13:36:36
12928
21
原创 重磅 | Elasticsearch7.X学习路线图
1、为什么要梳理学习路线图？在关注Elastic 中文社区、QQ群、星球群的过程中，多多少少都会有一些基础问题冒出。而这些问题不复杂，多半都在官方文档中都有提及，稍稍复杂的在官方英文社区、中文社区都有过类似问题的讨论。基本上通过Google、bing都能直接或间接搜索到答案。那么问题是：为什么好多初学的朋友，找不到答案呢。观察和思考了很久。我认为最主要的问题在于，没有建立基础知识全貌的认知...
2019-04-30 23:34:20
17823
17
原创 Elasticsearch学习，请先看这一篇！
题记：Elasticsearch研究有一段时间了，现特将Elasticsearch相关核心知识、原理从初学者认知、学习的角度，从以下9个方面进行详细梳理。欢迎讨论……0. 带着问题上路——ES是如何产生的？（1）思考：大规模数据如何检索？如：当系统数据量上了10亿、100亿条的时候，我们在做系统架构的时候通常会从以下角度去考虑问题： 1）用什么数据库好？(mysql、sybase、oracle、达
2016-08-18 21:08:36
228902
66
原创 Elasticsearch的使用场景深入详解
了解了ES的使用场景，ES的研究、使用、推广才更有价值和意义。1、场景—：使用Elasticsearch作为主要的后端传统项目中，搜索引擎是部署在成熟的数据存储的顶部，以提供快速且相关的搜索能力。这是因为早期的搜索引擎不能提供耐用的存储或其他经常需要的功能，如统计。 Elasticsearch是提供持久存储、统计等多项功能的现代搜索引擎。 如果你开始一个新项目，我们建议您考虑使用Elas
2016-08-17 08:40:56
117357
21
原创 Elasticsearch 优化查询中获取字段内容的方式，性能提升5倍！
1、背景集群配置为：8 个 node 节点，16 核 32G，索引 4 分片 1 副本。应用程序的查询逻辑是按经纬度排序后找前 200 条文档。1、应用对查询要求比较高，search 没有慢查询的状态。2、集群压测性能不能上去，cpu 使用未打满，查询的 qps 上不去，且有队列堆积。2、优化方法通过云厂商内核组的同学抓取火焰图发现，主要消耗在 fetch phrase 阶段。ES 默认从_sou...
2023-12-01 21:08:18
1121
1
原创 学习的过程不只是知识查找，社群的价值是陪伴！
——来自Elastic中文社区深圳站主席杨振涛大佬的评价！感触非常深。随着技术的快速发展，我们的获取信息和知识的方式也在日新月异地变化。人工智能和深度学习技术如 OpenAI 的 ChatGPT ，已经成为许多人获取知识的首选方式，而这无疑对我们传统的社群学习和搜索引擎带来了巨大的冲击。然而，我们不能忘记一件事：学习的过程不仅仅是寻找和获取知识，更重要的是我们与他人的交互和共享。这就是为什么我坚信...
2023-11-27 07:35:39
861
原创 Elasticsearch 线上实战问题及解决方案探讨
1、reindex相关问题1.1 问题描述我有 1tb 的一个大索引若干，要迁移到另外一个新集群去，有没有好办法？reindex好像会中断......reindex 是不是就算设置了频率也会莫名的中断，而且没地方查到错误？1000多万的数据，大概80G 用reindex有时候都会莫名的断。有时候是全的，有时候不全。https://t.zsxq.com/14pVGxDdv1.2 问题认知对于大型索...
2023-11-27 07:35:39
828
原创 Elasticsearch 中文社区的转型后，搜索人怎么破局？
引言近年来，Elasticsearch 中文社区（现更名为搜索客，欢迎大家关注）的活跃度明显下降。这一现象不仅反映了技术社区的自然演变，也是时代发展的缩影。本文旨在探讨造成这一变化的原因，并提出搜索技术人未来的发展策略。1、外部原因分析1.1 开源协议的变更Elasticsearch 在 Elastic 公司和 AWS 公司的拉锯战中，经历了开源协议的重大变更。这不仅影响了社区的稳定性，还导致了用...
2023-11-21 07:35:44
47
原创 干货 | Elasticsearch 8.11 ES|QL 初体验
这里没有理论，只有验证后的结论和体验。前提：这是 8.11 版本的新功能，必须提前安装最新 8.11 版本。1、对比参考实现1.1 DSL 原始语法POSTkibana_sample_data_ecommerce/_search1.2 ES|QL 检索语法， 类似SQL实现POST/_query?format=txt{"query":"""FROMkibana_sample_da...
2023-11-13 07:36:10
220
原创 Elasticsearch 8.X 如何生成 TB 级的测试数据 ?
1、实战问题我只想插入大量的测试数据，不是想测试性能，有没有自动办法生成TB级别的测试数据？有工具？还是说有测试数据集之类的东西？——问题来源于 Elasticsearch 中文社区https://elasticsearch.cn/question/131292、问题解析其实类似的问题之前在社群也经常被问到。实战业务场景中在没有大规模数据之前，可能会构造生成一些模拟数据，以实现性能测试等用途。真实...
2023-11-03 00:01:28
670
原创 见到了樊登老师本人......
接近一个月前，偶然的机会，老婆告诉我，樊登老师要来咱们这里做演讲了，你去听听吧。我毫不犹豫第一时间买了票。终于等到今天去能容纳 3500 人的羽毛球馆现场听了演讲。我最早也不认可听书的，早年知识付费火的时候，我关注得到多一些，买过不少课程。比如梁宁的产品课、吴军的硅谷来信课程、华杉讲营销、华杉孙子兵法等。其实，早期的目的就是打开认知，拓宽思维的边界！关于读书，每年都会读。但是大部头的书自己一方面是...
2023-10-29 00:31:22
83
原创 Elasticsearch 8.X 分词插件版本更新不及时解决方案
1、关于 Elasticsearch 8.X IK 分词插件相关问题球友在 ElasticSearch 版本选型问题中提及：如果要使用ik插件，是不是就使用目前最新的IK对应elasticsearch的版本“8.8.2”？https://github.com/medcl/elasticsearch-analysis-ik/releases/tag/v8.8.2如果要使用最新es版本，而IK没有对应...
2023-10-20 23:06:42
964
原创 在“裹挟”中前行，人生第一次半程马拉松已完成！
人生很多时候都面临挑战，学生阶段的中考、高考、考研等......毕了业之后，仿佛进入了很长时间的舒适区，挑战没有所谓的“考试”来证明，更多是的工作的完成度、完成效率、领导的满意度、客户的满意度，专业点的说法叫干系人的满意度。其实仔细想想这些挑战都没有什么，只要平时工作到位，剩下的就是时间，干的好会自然“水到渠成”，干不好，貌似也不能怎么样......人类极限的跑步挑战，我一直“心之所向”，但念于工...
2023-10-17 07:28:54
77
原创 那些 ChatGPT4 也搞不定的 Elasticsearch 问题，请抛给我们！
1、需求公众号后台或私信会不定期收到来自一些传统企业或中小型互联网公司的 Elasticsearch 相关项目、产品的架构设计、方案设计、运维、性能优化等的需求。类似需求可大致分为如下几类：一、企业有外包需求，期望 Elasticsearch 相关部分整包给外部团队完成。模块相对独立，期望完成全文检索、满足特定需求的检索和数据分析需求，需要整包出去。项目已经完成，但是需要运维维护，当下技术团队实力...
2023-10-08 17:43:56
109
原创 Elasticsearch 8.10 同义词管理新篇章：引入同义词 API
Elasticsearch 的同义词功能是一个重要的文本分析工具，特别是在全文搜索应用中。同义词机制使得用户能够建立一个同义词库，以处理一词多义、多词同义等情况，从而增强搜索的准确性和丰富性。1、同义词在搜索引擎领域用途同义词在搜索引擎领域的用途可概括如下：增强搜索的准确性——当用户输入一个关键词时，可能与他们实际意图相关的文档使用了一个不同的关键词或短语。同义词允许搜索引擎理解和识别这些情况，返...
2023-10-08 17:43:56
277
原创 重磅 | 死磕 Elasticsearch 8.X 方法论认知清单（2023年国庆更新版）
每个人都会犯错，别再让相同的错误一再发生，别再让我们为那些错误付出沉痛的代价。清单不是写在纸上的，而是印在心上的。我们别无选择，清单，正在一步步变革我们的生活，变革这个复杂的世界......——[美] 阿图-葛尔德《清单革命》01Elasticsearch 学习方法论1. 如何系统的学习 Elasticsearch ？2. 视频 | 零基础如何学习 Elasticsearch？3. 必备 | E...
2023-09-27 06:00:51
190
原创 Elasticsearch 8.X：这个复杂的检索需求如何实现？
1、企业级真实问题问题描述如下：如上图所示，index中有这样四个字段：title content question answer。要查询这四个字段，支持最多输入5个关键词模糊查询，多关键词以空格隔开。匹配度计算逻辑：关键词有序排列 ，权重依次降低，即排列在前的关键词权重最高，依此降低；检索顺序和结果顺序一致的排在前面。title（question）较content（answer）权重高，比如...
2023-09-25 07:45:40
286
原创 实战问题：Elasticsearch 2.X 数据如何迁移到 7.X？
1、实战问题老师，我想请问一下，我们有个版本是2.4.x版本的es，想把他里面的数据(数据量比较大,十几T）导入到7.10.x版本，但是升级版本，需要的变更太多，只能选择数据迁移，不知道用什么方法去迁移，老师能给一些建议吗？死磕 Elasticsearch 知识星球 https://t.zsxq.com/1250CqALT2、问题拆解回复从 Elasticsearch 2.4.x 到 7.10.x...
2023-09-18 19:56:37
86
转载 腾讯云 ES Serverless 初体验
导读我们在之前的文章，《浅谈Elasticsearch Serverless设计与选择》 中提到过，云上许多数据存储和分析应用正在向 Serverless 模式进行转变。Serverless 是对专有的、需要自管理的集群模式的一种极大补充，特别是对于需要灵活应对需求和负载的变化又不希望预付服务器租赁费用，同时，又期望能够减少运维和管理成本的企业来说，Serverless 不仅便宜，而且更适合快速的...
2023-09-11 07:35:30
97
原创 源码剖析：Elasticsearch 段合并调度及优化手段
1、背景经常看到集群的merge限流耗时比较高，所以想分析其原因、造成的影响、以及反思merge的一些优化手段。比如下图中测试集群相关监控截图：可是从磁盘的写入来看，并不高：那么目前的情况带来哪些影响？资源利用率低下从写IO监控可以看出，其实ES节点的IO压力并不大， 这导致IO资源的浪费pendingMerges队列增加，导致很多待合并的段一直等待队列中的元素迟迟无法得到处理，严重的甚至浪费内存...
2023-09-08 11:20:47
519
原创 Elasticsearch 8.X 可以按照数组下标取数据吗？
1、线上环境问题老师、同学们，有人遇到过这个问题么，索引中有一个 integer 数组字段，然后通过脚本获取数组下标为1的值作为运行时字段，发现返回的值是乱的，并不是下标为1的值， 具体如下:DELETEmy_indexPUTmy_index{"mappings":{"properties":{"price":{"type":"int...
2023-09-03 00:00:46
468
原创 从源码角度剖析 Elasticserach 段合并调优策略
1、背景TieredMergePolicy 作为 Elasticserach 默认的策略，和 LogMergePolicy 合并相邻的段不同，其合并大小相近的段。作为 ES 使用的段策略，它的核心思想是将索引段分成多个层次（tier），每个层次的段大小会有一个预设的上限。当某一层的段数量超过阈值或者某个段的大小达到阈值时，就会触发合并操作，将多个小段合并成一个较大的段。通俗理解分层为更好地辅助大家...
2023-08-29 17:23:56
191
原创 Elasticsearch 8.X reindex 源码剖析及提速指南
1、reindex 源码在线地址为方便大家验证，这里给出 reindex github 源码地址。https://github.com/elastic/elasticsearch/blob/001fcfb931454d760dbccff9f4d1b8d113f8708c/server/src/main/java/org/elasticsearch/index/reindex/ReindexRequ...
2023-08-23 07:35:09
833
原创 速览 | 官方认证费用调整，Elastic 认证最新动态......
1、认证费用调整细心的 Elastic 爱好者今天（2023年8月22日）群里反馈消息，Elastic 专家认证考试的费用已由原来的 400 美元调整为 500 美元。不止于此，ECA 认证、ECOE 认证的资费都上浮了 100 美元（折合人民币：729.5元）。认证类型当前费用费用变化考试版本ECE认证500美元上浮100美元8.1 版本ECA认证400美元上浮100美元7.15 版本（很可能会...
2023-08-22 18:38:34
156
原创 ChatGPT-4: 半年的深度使用思考
几个月的时间一直在使用 ChatGpt-4，以口述语音转文字的形式说一下自己的体会。1、选择版本大前提：我使用的都是 GPT4 的版本。也就是说至少每个月要付费20$。因为 3.5 的版本，实际上使用体验是非常差的，主要体现在答非所问上。这一点在四版本出来以后就很好的得到了解决。2、效率提升GPT4 的确能极大的提高我们的编码，文字撰写等的效率。这是毋庸置疑的事实。当然，个人认为国内的大模型至少短...
2023-08-19 15:05:27
890
原创 Elasticsearch 8.X 复杂分词搞不定，怎么办？
1、实战问题球友提问：我想停用所有纯数字的分词 ， 官网上的这个方法好像对ik分词器无效！有没有什么别的方法啊， chart gpt 说分词可以用正则匹配 但是测试好像是不行的 我的es版本是 8.5.3。2、进一步沟通后，得到问题最精准描述我的查询内容可能是："北京市海淀区清华园10栋105"，ik_smart 中文分词结果为：“北京市”、“海淀区”、“清华园”、“10栋”、105。用...
2023-08-12 13:25:59
545
原创 干货 | 详述 Elasticsearch 向量检索发展史
1. 引言向量检索已经成为现代搜索和推荐系统的核心组件。通过将复杂的对象（例如文本、图像或声音）转换为数值向量，并在多维空间中进行相似性搜索，它能够实现高效的查询匹配和推荐。图片来自：向量数据库技术鉴赏【上集】（Ele实验室）Elasticsearch作为一款流行的开源搜索引擎，其在向量检索方面的发展也一直备受关注。本文将回顾 Elasticsearch 向量检索的发展历史，重点介绍各个阶段的特点...
2023-08-07 12:32:30
1156
原创 视频 | Elasticsearch 8.X 企业内训之最佳实践10 讲
当今大数据时代，有效管理和提取信息成为了许多企业和组织的首要任务。Elasticsearch 8.X 的推出，为企业提供了一个强大、灵活且高效的搜索和分析引擎，可以在几乎实时的情况下处理大规模的数据。为了帮助企业充分利用 Elasticsearch 8.X 的强大功能，我们特别推出了 "Elasticsearch 8.X 企业内训之最佳实践 10 讲" 系列视频，内容涵盖了从索引设计到性能优...
2023-08-03 07:35:47
127
原创 深度探索 Elasticsearch 8.X：function_score 参数解读与实战案例分析
在 Elasticsearch 中，function_score 可以让我们在查询的同时对搜索结果进行自定义评分。function_score 提供了一系列的参数和函数让我们可以根据需求灵活地进行设置。近期有同学反馈，function_score 的相关参数不好理解，本文将深入探讨 function_score 的核心参数和函数。1、function_score 函数的用途及适用场景Elastic...
2023-07-26 10:13:34
711
2
原创 Elasticsearch 源码探究 001——故障探测和恢复机制
1、Elasticsearch 故障探测及熔断背景探究Elasticsearch7.10.2 节点之间的故障探测以及熔断故障是怎么做的，思考生产上的最佳实践。服务端故障场景：单个master挂掉除了断点断网，状态同步异常，主master也会认为自己已经失败，会退出，然后选举新的masterElasticsearch 是一种基于点对点的系统，其中节点直接相互通信。主节点的职责是维护全局集群状态并在节...
2023-07-18 12:00:42
225
原创 Elasticsearch 集群某一节点修改 IP 后无法启动问题复盘
1、集群环境及问题描述集群版本：6.8.X集群节点：5节点（三个节点为主+数据节点，另外两个独立数据节点）。问题描述：由于IP冲突，修改了一台服务器的IP，然后5台配置改了一下一次重启，能启动，但是连不上，后台各种报错。2、问题讨论节点换 IP 原因探讨：宿主机服务器的IP地址和别的服务器IP 冲突，所以要修改一台服务器的 IP地址。不建议集群节点经常更换 IP，原因如下：频繁更换 Elastic...
2023-07-17 07:35:44
1384
转载 Elastic 认证专家考试团购报名第五季
0、Elastic认证专家考试介绍认证通过后，授予的徽章下方会有如上一段话：Elastic认证工程师拥有构建完整的Elasticsearch解决方案的技能。包含：包括部署、配置和管理Elasticsearch集群；将数据索引到这些集群中以及查询和分析索引数据的能力。为了获得此认证，候选人在三个小时内在多个Elasticsearch集群实战完成了一系列具有挑战性的实任务。Elastic认证简称 EC...
2023-07-14 22:03:16
174
原创 不要将数据库中的“分库分表”理论盲目应用到 Elasticsearch
1、问题描述近期在优化索引时，我遇到了一些挑战。我们的环境是7节点16*32G的机器，我在尝试内存优化。当前的文档总量为5亿，然而mapping设计和shard设计都出现了问题。每个节点上有480个shard，这是一个相当离谱的数量。当我试图分析内存消耗的时候，遇到了更大的问题。尽管 fielddata、completion、segments、query_cache和translog占用的内存量可...
2023-07-12 11:45:11
170
原创 Elasticsearch 8.X 聚合查询下的精度问题及其解决方案
1、线上环境问题咕泡同学提问：我在看runtime文档的时候做个测试， agg求avg的时候不管是double还是long，数据都不准确，这种在生产环境中如何解决啊？2、问题归类及出现场景上述问题可以归类为：Elasticsearch聚合查询下的精度问题。在日常的数据处理工作中，我们经常会遇到使用Elasticsearch进行大数据查询、统计、聚合等操作。Elasticsearch在实践中表现出优...
2023-07-08 12:52:51
1021
3
原创 10 分钟玩转Elastcisearch——数据可视化分析
在当今这个快速发展的科技时代，Elasticsearch 已经成为企业和开发者的重要技术工具。随着数据的爆发式增长，Elasticsearch 可以帮助个人和企业更好的理解数据、发现数据中的规律趋势和模式、并从海量数据中洞察业务价值。为了帮助开发者能够快速上手，阿里云MVP铭毅天下博主携手阿里云检索分析服务Elasticsearch版、阿里云开发者社区和 Elastic 公司，共同推出《10分钟玩...
2023-06-20 16:39:41
1166
原创 Elasticsearch 如何把评分限定在0到1之间？
本文题目来自微信群讨论。在 Elasticsearch 中，评分（或打分）通常在查询过程中进行，以判断文档的相关性。默认的打分机制使用的是 BM25，但你也可以通过自定义的打分查询（function_score）来自定义评分机制。然而，如果你想要将评分范围限定在0到1之间，你可能需要在查询中使用脚本来实现。Elasticsearch 的评分主要关注的是相关性排序，而不是确切的评分值，因此如果你想要...
2023-06-16 07:55:31
516
Windows下libevent C++封装类实现
2016-12-11
C++内部培训讲义
2016-08-07
libcurl.lib下载（32bit和64bit）
2015-09-17
MFC动态划线实现源码
2013-03-30
（可视化文件消息一体化收发Socket实现V0.1说明文档
2013-03-17
可视化文件消息一体化收发Socket实现V0.1
2013-03-17
Windows Sockets 规范及应用
2010-12-20
路由器交换机配置命令详解.doc
2010-04-18
C++ 笔试面试宝典2009版.doc
2010-04-18
? Kerberos认证相关问题思路请教：
2013-11-03
求samba下的rpcclient工具使用方法？
2013-09-17
TA创建的收藏夹 TA关注的收藏夹
TA关注的人