- 博客(721)
- 资源 (19)
- 问答 (2)
- 收藏
- 关注
RSS订阅
原创 新时代写作与互动：《一本书讲透 Elasticsearch》读者群的创新之路
1、《一本书讲透 Elasticsearch》销售最近进展汇报给大家同步一下《一本书讲透 Elasticsearch》图书的进展情况，本周五（2024年4月26日），出版社编辑老师反馈图书相关销量进展：预计全网销量 1000 册+，发货量 2462 册（截止2024年4月28日）。2023年12月21日，首次印刷量：2500 册。2024年4月1日，二次印刷量：1000 册。2、读者就是“衣食父母...
2024-04-28 11:38:35
972
原创 7 年+积累、 Elastic 创始人Shay Banon 等 15 位专家推荐的 Elasticsearch 8.X新书已上线...
今天，非常高兴地跟大家宣布，经过 7 年多的努力和精心准备，我们的新书《一本书讲透 Elasticsearch》已正式出版上线！我从 2016 年接触 Elasticsearch 1.X、2.X 的版本，到现在已经接近 8 年+的时间。在这期间，我常常被问到：如何系统性地学习 Elasticsearch ？如何将现有的关系型数据库迁移到 ES ？如何选择合适的版本？如何规划和监控集群？如何进行数据...
2024-01-15 07:30:59
1874
4
原创 重磅 | 死磕 Elasticsearch 8.X 方法论认知清单（2022年国庆更新版）
每个人都会犯错，别再让相同的错误一再发生，别再让我们为那些错误付出沉痛的代价。清单不是写在纸上的，而是印在心上的。我们别无选择，清单，正在一步步变革我们的生活，变革这个复杂的世界......——[美] 阿图-葛尔德《清单革命》01Elasticsearch 学习方法论如何系统的学习 Elasticsearch ？视频 | 零基础如何学习 Elasticsearch？刻意练习 Elastics...
2022-09-28 07:16:17
2414
原创 干货 | Elasticsearch 8.X 实战视频合集（80 小时+）
1、Elasticsearch 进阶实战 10 讲（10小时+）1.1 进阶实战 10 讲视频地址https://t.zsxq.com/BAU33J61.2 进阶实战 10 讲包含内容Elasticsearch 全貌认知索引创建和搜索原理集群规划及节点角色规划最佳实践集群性能调优及原理数据建模最佳实践冷热集群架构实战索引生命周期管理ILM实战跨集群检索实战分片分配策略实战集群安全实战2、Elast...
2022-09-28 07:16:17
2447
1
原创 Elasticsearch 7.X 进阶实战视频课上线
1、Elasticsearch 7.X 进阶实战大纲课程地址：Elasticsearch 7.X 进阶实战视频课10个大选题来源于实战业务场景的提炼、总结。 Elasticsearch 全貌认知 Elasticsearch 索引创建和搜索原理 Elasticsearch 集群规划及节点角色规划最佳实践 Elasticsearch 集群性能调优及原理 Elasticsearch 数据建模实例讲解与实战技巧 Elasticsearch 冷温热架
2021-08-17 10:58:53
3770
原创 如何系统的学习 Elasticsearch ？
这是上一次技术直播里六个子主题中的最后一个主题的扩展版本。近期又有读者问到类似问题，我认为非常有必要花长时间梳理后跟大家分享一下。1、基础篇：零基础如何学 Elasticsearch ?常...
2021-03-11 21:46:54
10434
4
原创 潜心一技、做到极致！——Elastic认证工程师之路
20年2月3日我参加Elastic认证工程师考试，2020年2月5日中午得到认证结果：通过考试。趁热打铁，将Elastic认证工程师考试相关内容、经验教训等和盘而出，希望对后续参加考试的同学有所帮助。1、Elastic工程师有什么用？An Elastic Certified Engineer possesses the skills and is able to pe...
2020-02-07 13:36:36
13296
21
原创 重磅 | Elasticsearch7.X学习路线图
1、为什么要梳理学习路线图？在关注Elastic 中文社区、QQ群、星球群的过程中，多多少少都会有一些基础问题冒出。而这些问题不复杂，多半都在官方文档中都有提及，稍稍复杂的在官方英文社区、中文社区都有过类似问题的讨论。基本上通过Google、bing都能直接或间接搜索到答案。那么问题是：为什么好多初学的朋友，找不到答案呢。观察和思考了很久。我认为最主要的问题在于，没有建立基础知识全貌的认知...
2019-04-30 23:34:20
18110
17
原创 Elasticsearch学习，请先看这一篇！
题记：Elasticsearch研究有一段时间了，现特将Elasticsearch相关核心知识、原理从初学者认知、学习的角度，从以下9个方面进行详细梳理。欢迎讨论……0. 带着问题上路——ES是如何产生的？（1）思考：大规模数据如何检索？如：当系统数据量上了10亿、100亿条的时候，我们在做系统架构的时候通常会从以下角度去考虑问题： 1）用什么数据库好？(mysql、sybase、oracle、达
2016-08-18 21:08:36
231105
66
原创 Elasticsearch的使用场景深入详解
了解了ES的使用场景，ES的研究、使用、推广才更有价值和意义。1、场景—：使用Elasticsearch作为主要的后端传统项目中，搜索引擎是部署在成熟的数据存储的顶部，以提供快速且相关的搜索能力。这是因为早期的搜索引擎不能提供耐用的存储或其他经常需要的功能，如统计。 Elasticsearch是提供持久存储、统计等多项功能的现代搜索引擎。 如果你开始一个新项目，我们建议您考虑使用Elas
2016-08-17 08:40:56
118747
21
原创 Elasticsearch 又更改开源协议了？为啥？对企业有什么影响？
Elasticsearch 是一个广泛应用的分布式搜索和分析引擎，其开源性曾经是吸引大量用户的重要因素。然而，在 2021 年，Elasticsearch 将其核心产品从 Apache 2.0 协议更改为 Server Side Public License (SSPL) 和 Elastic License (ELv2) 双重许可，引发了广泛的讨论和争议。大事！！Elasticsearch 和 K...
2024-08-30 12:34:04
125
原创 探究：Elasticsearch 文档的 _id 是 Lucene 的 docid 吗？
1、前言之前在与研发进行 ES 使用优化的过程中，研发的同事饶有兴致的在会议后问了我这么一个问题：我们写入 ES 的 _id 字段和 lucene 中使用的 docid 是一个内容么？两者有什么关联么？当时对 Lucene 没有太多了解的我只能实话实说：两者应该不是一个概念，但是具体是否有关联我这边也没有梳理清楚，后面有结论了可以再进行沟通。现在，我们针对这个问题梳理一下吧。2、Lucene 的 ...
2024-08-29 06:57:42
733
原创 道阻且长，行则将至——记累计跑步1000公里
2017 年开始 Keep 软件记录跑步，确切的说是工作好多年之后正式开始跑步。在跑步累计 100 公里的时候，当时定了个小目标：1000 公里。https://mp.weixin.qq.com/s/_QqLHwiR659obLSQs2ZJnw没想到，这一晃过去了 7 年，就在今天 2024年8月27日，累计跑量突破 1000 公里。对于一些马拉松爱好者、经常跑步的跑友来说，这不值一提。但是，对于...
2024-08-27 17:30:39
618
原创 【提升认知】AI 大模型一网打尽，不必东奔西走！！
在当今人工智能领域，大语言模型及其相关工具正在迅速发展，涵盖了编程、数据库、检索引擎、聊天机器人、生成式 AI 工具、模型 API、开发框架和平台等各个方面。为了帮助您更好地了解和使用这些工具，我整理了一份全面的工具清单，包含每个工具的介绍、核心技术以及相关链接。让我们一起来看看这些 AI 工具，提升您的认知水平。1. AI 编程工具类1.1 GitHub Copilot介绍：GitHub Cop...
2024-08-26 09:35:24
952
原创 图解 Elasticsearch 的 Fielddata Cache 使用与优化
1、难搞的 fielddata cache在 ES 使用的几个内存缓存中，fielddata cache 算是一个让人头疼的家伙。作为和 query cache 和 request cache 一样不受 GC 控制的内存使用者，fielddata cache 虽然也有 indices.fielddata.cache.size 的设置来阻止过度使用，但是默认是不限制的。并且，当 fielddata ...
2024-08-21 17:25:55
785
原创 Elasticsearch 使用误区之四——不合理的使用 track_total_hits
0、企业级实战问题在使用 Elasticsearch 进行搜索时，我们常常关心匹配查询的文档总数而将 track_total_hits 设置为 true，如下截图所示，在数据量非常大的情况下这种检索导致的问题是：查询特别慢，聚合会更慢！那么问题来了：track_total_hits 引入的背景是什么？哪个版本才有的？track_total_hits 含义是什么？track_total_hits 什...
2024-08-19 07:31:34
724
原创 深度长文——谷歌 DeepMind 高级研究员 Nicholas Carlini 详解：程序员如何使用 AI？...
1、人工智能模型是否被过度炒作？我认为“人工智能”模型（即大型语言模型）并没有被过度炒作。确实，任何新技术都会吸引一些投机取巧的人。而且，许多公司喜欢说他们在“使用人工智能”，就像他们以前声称他们是由“区块链”驱动的一样。（我们一次又一次地看到这种现象。）可能我们现在确实处在一个泡沫中。互联网在2000年泡沫破裂，但现在的互联网应用以前可是科幻小说里的东西。我认为最近的进展不仅仅是炒作的原因是，过...
2024-08-14 11:31:00
723
原创 Elasticsearch Filter 缓存加速检索的细节，你知道吗？
1、前言ES 进行信息检索的时候，boolean 查询组合条件有 must/must_not/should/filter四个操作。其中 must 和 filter 的用途都是用于过滤必要符合的条件，但是 filter 在查询过程中不算分并且可以进行缓存，这样逻辑简单又可以加速的查询方式经常得到官方的提倡。可是，只有 filter 的条件可以被缓存么？这里的缓存是属于哪一部分？缓存有什么样的进入...
2024-08-09 07:30:43
478
原创 干货 | Elasticsearch 集群典型报错日志"逆向"分析
1、集群环境及存在问题1.1 集群环境1 台宿主机，2 个 ES 节点。宿主机配置：56 核 CPU， 256G 内存，普通非SSD 磁盘宿主机除了部署 ES 集群两个节点，还部署了其他服务如 redis、其他（不详）。1.2 索引分片单索引 700 GB 左右。20 个分片。1.3 改动过如下配置1.4 存在问题Elasticsearch 查询特别慢，内存使用率 93%, 现在没什么解决思路。—...
2024-08-06 07:35:25
983
原创 深入解析 Elasticsearch IK 分词器：ik_smart 和 ik_max_word 的区别与应用场景
1、Elasticsearch ik 分词器常见问题最近在 git 上看看 ik 的相关问题，发现大家问的比较多的是 ik 分词器的 ik_smart 和 ik_max_word 两个分词模式，以及它俩之间的分词差异。这里来集中解释一波，期望对大家有帮助。2、ik_smart 与 ik_max_word 的异同首先来看下官方的FAQsWhat is the difference between i...
2024-08-02 10:42:09
771
原创 Elasticsearch 自动插入东八区默认时间实现
1、问题1：Elasticsearch 有没有办法设置自动默认值呢?比如默认update_time=当前时间？回顾一下 Elasticsearch 相关知识点，可知：Elasticsearch 并没有创建索引设定默认值的机制。也就是说，没有 MySQL 中设置字段默认值的功能。MySQL 中设置默认时间，大家都比较熟悉了：CREATETABLEexample_table(idIN...
2024-07-31 09:26:39
532
原创 Elasticsearch 使用误区之三——分片设置不合理
Elasticsearch 是一个强大的搜索和分析引擎，它通过将数据分散到多个节点的分片中来进行分布式处理。本文将探讨分片大小和策略的概念，以优化 Elasticsearch 的性能并防止过度分片或分片过大等问题。先看个分片设置不合理的真实企业案例：10TB 左右集群数据，只有两个节点集群。单个最大索引 600GB，7.17.4 版本，200分片（全部）。集群重启无法启动，未咨询之前是：最长时间8...
2024-07-25 09:33:26
482
原创 Elasticsearch ILM 热节点迁移至冷节点 IO 打满、影响读写解决方案探讨
1、实战问题ILM（索引生命周期管理） 遇到热数据迁移至冷节点时造成 IO 打满影响读写的情况。现在采取的方案是调整索引生命周期策略，定时的将Cold phase 开启/关闭。低峰开启，高峰关闭。就是不知道这里面会有啥坑。热节点：15个16C64G 1.5T SSD ，冷接点：18个 8C32G 3T SATA ，每天数据量9T左右。数据保留期5天。不确定相比较于采用 max_bytes_per_...
2024-07-19 07:30:25
696
原创 Elasticsearch 企业级实战 02：如何借助 Kibana Painless Lab 进行脚本调试？
接上一回。Painless Lab 是 Elasticsearch 7.13 引入的实验性功能，是一个交互式代码编辑器，可以实时测试和调试 Painless 脚本。本文展开解读 Painless Lab 如何应用于企业级实战开发中的脚本调试环节！1、Painless Lab 是什么？Painless Lab是一个交互式的测试版代码编辑器，用于实时测试和调试Painless脚本。咱们可以通过打开主菜...
2024-07-17 07:35:33
478
原创 Elasticsearch 企业级实战 01：Painless 脚本如何调试？
在企业级应用中，Elasticsearch 常常被用来处理复杂的数据查询和操作。Painless 是 Elasticsearch 的内置脚本语言，虽然强大，但调试起来并不容易。本文将详细介绍如何在实战中有效调试 Painless 脚本，以提高开发和运维效率。本文所有实现均在 Elasticsearch 8.11 dev-tool 环境充分验证，建议放大图片查看结果。1、 抛出问题在使用 Elast...
2024-07-16 07:30:43
1304
原创 深入解析 Elasticsearch 8.X 索引模板：从传统到可组合模板的全面指南
在 Elasticsearch 中，索引模板用于定义索引的创建预设，包括映射、设置和别名等。Elasticsearch 提供了两种类型的索引模板：传统模板（Legacy templates）和可组合模板（Composable templates）。了解这两种模板的使用及其互动方式，对于有效管理索引至关重要。1. 索引模板概览1.1 传统模板传统模板主要指Elasticsearch 7.7（含）以及...
2024-07-14 10:37:27
911
原创 一网打尽：Elasticsearch 数组全量实战操作指南
在 Elasticsearch 中处理复杂数据类型如数组时，提供了极高的灵活性，但同时也带来了一定的复杂性，尤其在使用脚本进行高级查询和数据操作时。举例来自微信群的企业级实战问题如下：本博客旨在通过一系列实战案例，展示如何有效地在 Elasticsearch 中使用脚本来处理数组类型的字段。1. 背景和挑战在现代数据环境中，数据往往以复杂和非结构化的形式存在，数组字段的处理尤为常见。Elastic...
2024-07-09 07:30:19
1150
原创 Elasticsearch 8.x 存储有无压缩？能压缩到多少？
1、认知前提Elasticsearch 支持压缩，压缩方式默认为：LZ4 压缩算法。具体参见：The default value compresses stored data with LZ4 compression, but this can be set to best_compression which uses DEFLATE for a higher compression ratio,...
2024-07-02 07:30:27
794
原创 Elasticsearch 使用误区之二——频繁更新文档
在使用 Elasticsearch 时，频繁更新文档是一种常见误区。这不仅影响性能，还可能导致系统资源的浪费。理解 Elasticsearch 的文档更新机制对于优化性能至关重要。关于 Elasticsearch 更新操作，常见问题如下：——https://t.zsxq.com/bDxwL1、频繁更新的挑战在关系型数据库中，更新操作在事务完成后立即生效，查询结果可以立刻反映变化。而在 Elasti...
2024-06-29 19:40:27
841
原创 Elasticsearch 使用误区之一——将 Elasticsearch 视为关系数据库！
Elasticsearch 是一个强大的工具，尤其在全文检索、实时分析、机器学习、地理数据应用、日志和事件数据分析、安全信息和事件管理等场景有大量的应用。然而，Elastic Stack 技术栈的选型及应用效能取决于正确的使用方式。选型错误或者误用 Elasticsearch 可能会导致扩展性问题、性能问题（如为解决一个问题使用非常复杂的脚本导致性能极差）等，从而使整体体验感变差。所以，本文区别于...
2024-06-23 10:23:54
1232
原创 Elasticsearch 的基数统计在大数据量下有什么办法能做到 100% 准确度吗？
球友提问：Elasticsearch 的基数统计在大数据量下有什么办法能做到 100% 准确度吗？https://t.zsxq.com/VYDcW在Elasticsearch中，基数统计（如基数聚合）在大数据量下通常使用 HyperLogLog++算法，该算法是近似算法，因此会有一定误差。1、构造 100万条数据我这边随机构造了 100万条记录写入 Elasticsearch 以便测试。先说一下构...
2024-06-19 07:30:34
1163
原创 Kibana 一步步可视化实战构建步骤全集
今早读者朋友圈提及：《一本书讲透Elasticsearch》适合入门级体系化阅读，书中的3个项目实战，很适合实操，但是在建立Kibana可视化的过程中，书中没有明确构建步骤，在实操中会有缺憾。我解释一下：由于篇幅原因，书籍到后半段已经超过480页，所以涉及 Kibana 实操内容，书中没有一步一步详细的展开。但，现在有B站、视频号等渠道方式，这方面早已经不成为问题。类似 Kibana 可视化实操内...
2024-06-17 08:32:33
371
原创 令人发指！站在技术角度揭发一个居民微信群以“薅羊毛”名义的“钓鱼”网站！...
这是 2024年6月6日发生在社区微信群的真实案例。微信名“阿雪”（真实id未知）发了三条微信信息。第一条：“邻居们，赶紧可以团购起来，庆祝商家入驻微信商城，第一单只需要99块钱就可以买到6箱金典或者特仑苏牛奶，还有花生油和大米，超划算，可以薅一下羊毛不能付款就是没有库存了，收藏链接，等商家上库存继续抢，我抢的已经收到货了，顺丰到家”第二条：上链接。第三条：6箱金典牛奶上门的照片。1、非技术层面发...
2024-06-12 07:30:14
2085
原创 如何高效管理和监控 Elasticsearch 别名及索引？
0、引言在 Elasticsearch 项目中，管理和监控索引是开发者的一项重要任务。尤其是当我们需要在项目的管理部分展示索引和别名的统计信息时，了解如何有效地列出这些别名和索引显得尤为重要。本篇博客将介绍几种在 Elasticsearch 中列出别名和索引的方法，并展示如何将这些信息集成到应用程序中，实现自动化监控。1、为什么需要列出别名和索引？在实际项目中，例如一个社交网络应用，我们可能会使用...
2024-06-11 07:30:47
1352
原创 Elasticsearch index 设置 false，为什么还可以被检索到？
在 Elasticsearch 中，mapping 定义了索引中的字段类型及其处理方式。近期有球友提问，为什么设置了 index: false 的字段仍能被检索。本文将详细探讨这个问题，并引入列式存储的概念，帮助大家更好地理解 Elasticsearch 的存储和查询机制。1、问题描述我们创建了一个名为 my-index-000001 的索引，并为其添加了一个名为 employee-id 的字段，...
2024-06-07 07:30:16
1519
原创 6 幅图，通透理解 Elasticsearch 的六大顶级核心应用场景
Elasticsearch 以其强大且多功能的搜索能力而广受欢迎。但在介绍 Elasticsearch 应用场景的时候，之前我也写过几篇，总感觉字多图少，对于初学者或者数据库、技术栈选型的企业用户并不直观、友好。Elasticsearch Top5典型应用场景Elasticsearch， 你值得拥有！—— 云栖大会 Elasticsearch 场景化应用全景回顾有没有一个场景一幅图生动的介绍 El...
2024-05-30 07:35:50
1269
原创 Elasticsearch 8.X 最新学习路线图——一图在手，进阶跟我走！
在大数据时代，Elasticsearch 作为一款强大的搜索和分析引擎，被广泛应用于各种场景。无论是实时日志分析、全文搜索还是复杂数据的实时处理，Elasticsearch 都能胜任。本文将基于一份详细的 Elasticsearch 8.X 学习路线图，带你全面了解 Elasticsearch 8.X 的学习路径，帮助你从入门到精通。1、Elasticsearch 简介1.1 学习 Elastic...
2024-05-20 07:25:30
1380
原创 Elastic 认证专家考试团购报名第六季
0、Elastic认证专家考试介绍Elastic认证工程师拥有构建完整的Elasticsearch解决方案的技能。包含：包括部署、配置和管理Elasticsearch集群；将数据索引到这些集群中以及查询和分析索引数据的能力。为了获得此认证，候选人在三个小时内在多个Elasticsearch集群实战完成了一系列具有挑战性的实任务。——认证通过后，授予的徽章下方会有如上一段话——https://www...
2024-05-15 15:37:32
819
原创 OpenAI 发布 ChatGPT 4o：更智能、更快速、更实惠的 AI 体验
2025-05-14凌晨，OpenAI 在美国举办的春季更新活动中，正式发布了最新的旗舰模型——ChatGPT 4o。OpenAI 首席技术官 Mira Murati 在发布会上详细介绍了这一新模型的多项重要特性，并展示了现场演示。以下是对 ChatGPT 4o 的全面解读，以及活动中的一些亮点。OpenAI 公司使命是——“确保通用人工智能惠及全人类”。有一点微软1980年愿景——“让每个家庭的...
2024-05-14 09:30:38
815
原创 Elasticsearch 电商场景：明明有这个关键词，但是搜不出来，怎么办？
如下截图来自《一本书讲透 Elasticsearch》读者群里的问题，数十条交流信息，讨论得非常热烈。个人建议非常有必要和大家一起探讨一下技术方案。1、实战问题场景：电商创业公司（非传统巨头）读者描述需求：content是一个text类型，用的 ik_max_word 分的词，需要根据关键词做精准匹配，并且按照发布时间倒序。比如我搜：小米6s，搜出来的结果要精确匹配到：小米6s，并且按照用户的发布...
2024-05-12 16:16:46
1167
Windows下libevent C++封装类实现
2016-12-11
C++内部培训讲义
2016-08-07
libcurl.lib下载（32bit和64bit）
2015-09-17
MFC动态划线实现源码
2013-03-30
（可视化文件消息一体化收发Socket实现V0.1说明文档
2013-03-17
可视化文件消息一体化收发Socket实现V0.1
2013-03-17
Windows Sockets 规范及应用
2010-12-20
路由器交换机配置命令详解.doc
2010-04-18
C++ 笔试面试宝典2009版.doc
2010-04-18
? Kerberos认证相关问题思路请教：
2013-11-03
求samba下的rpcclient工具使用方法？
2013-09-17
TA创建的收藏夹 TA关注的收藏夹
TA关注的人