- 博客(725)
- 资源 (19)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 Elasticsearch 8.X 如何基于用户指定 ID 顺序召回数据？
1、实战问题如何根据输入的id 的顺序输出结果，id 个数有500个，还有分页？问题来源：https://t.zsxq.com/0cdyq7tzr2、方案探讨2.1 Elasticsearch 默认排序机制在 Elasticsearch 中，如果未指定排序规则，检索结果的默认排序方式是按照文档的相关性得分（_score）进行降序排序。相关性得分表示了文档与查询的匹配程度。得分越高，文档与查询的匹配...
2023-04-04 15:24:47
1026
原创 关于AI大势，我的十点认知！
1、朋友在微信与我聊天时提到：“ChatGPT 的影响力日益显著。他的一个朋友所在的公司已经计划引入ChatGPT的API服务，并开始进行裁员。”2、我们可能无法深入了解 ChatGPT 的底层原理和论文思路，但我们至少应善于利用这个工具来提高效率，而不是墨守成规。例如，当Google问世时，继续使用雅虎搜索就会显得过时；同样，当苹果和安卓手机普及时，还抱着诺基亚就显得落后。因此，我们应尽早运用 ...
2023-03-27 07:15:31
229
原创 Elasticsearch 8.X Rollup 功能详解及避坑指南
摘要：本文将详细介绍 Elasticsearch Rollup 功能，包括其产生背景、应用场景、应用实例以及实战中的注意事项。通过本文，你将对 Elasticsearch Rollup 功能有一个全面的了解，从而提高你的数据处理能力。一、Elasticsearch Rollup 产生背景1.1 认知前提Elasticsearch 是一个分布式的搜索和分析引擎，能够处理大量的数据并提供实时查询功能。...
2023-03-26 20:00:04
676
2
转载 Elasticsearch 轻量级搜索中台实践--Alpha
1、现状 & 问题搜索中⼼化管理的⼀个⽐对就是业务侧⾃建搜索体系, 在谈谈搜索中台前先聊聊业务侧⾃建搜索带来的挑战,烟囱式的搜索体系⾯临:技术跟⻛别的团队⽤ES/Solr于是也跟着⽤, 未考虑搜索引擎与其⽤来解决的业务场景。使用规范性团队成员背景不同，对于搜索相关业务跟搜索引擎理解不同, 导致搜索引擎的使⽤⽅式五花⼋⻔, ⽐如喜欢⽤关系型数据库的⽅式理解Elasticsearch、业务在引...
2023-03-17 13:27:30
794
转载 Elasticsearch 深坑复盘：highlight+fvh+copy to+json顺序的复杂使用场景问题
1、背景情况业务使用的索引进行了一个切换，从老索引（老集群）切换到了新索引（新集群），更改了主分片数目，其他条件未修改。切换当天研发与测试人员都测试通过。2、问题描述索引切换的第二天，研发同学反馈查询使用报错：经过初步调试，发现报错的内容是在 highlight 模块的 fvh 类型使用，这个操作主要查询了字段 a-name。这里补充一下 highlight 的使用类型知识。highlight 的...
2023-03-14 20:47:09
360
原创 Elasticsearch 8.X 如何优雅的实现字段名称批量修改？
1、线上实战问题写入es前，数据格式如下{"json_lbm_01":"test01","json_lbm_02":"test02","tmp_lbm_01":"test03","tmp_lbm_02":"test04"}需求：单纯用pipeline可不可以实现，如果写入key包含json_提换为空，包含tmp提换为core，因为key字段有很多不考虑穷举，最终效果要如下：{"lbm_01"...
2023-03-04 16:16:32
1359
原创 干货 | 中小企业选型 Elasticsearch 避坑指南
1、线上常见问题在我线下对接企业或线上交流的时候，经常会遇到各种业务场景不同的问题。比如，常见问题归类如下：常见问题1：ES 适合场景及架构选型问题。公司的核心业务是做企业员工健康管理，数据来自电子化后的员工体检报告以及各种健康数据采集设备，均存储在关系型数据库中。先计划搞健康大数据分析，比如某企业内按部门，年龄段等对现有数据对比分析等。请问ES适合这个场景使用吗？如果适合，大致的架构是怎样的？常...
2023-02-21 17:38:47
1504
1
原创 必备 | Elasticsearch 8.X 最少必要知识视频（全）
1、你使用 Elasticsearch 8.X 了吗？Elastic Stack 数据平台由Logstash、Beats、ElasticSearch和Kibana四大核心产品组成，在数据摄取、存储计算分析及数据可视化方面有着无可比拟的优势。在存储、计算和分析方面，ElasticSearch允许执行和合并多种类型的搜索，解决不断涌现的各种用例，并具有极高的可用性及容错性，充分保障集群安全。Kiban...
2023-02-21 17:38:47
638
原创 Elasticsearch bucket_script、bucket_selector、bucket_sort 区别和应用场景？
1、实战问题POSTtest-002/_bulk{"index":{"_id":1}}{"name":"张三","city":"beijing"}{"index":{"_id":2}}{"name":"李四","city":"beijing"}{"index":{"_id":3}}{"name":"王五","city":"shanghai"}{"index":{"_id...
2023-02-10 11:15:24
2455
6
原创 七年没回家......
家是车站长久的等待，老乡们家乡话聊天，时间过得很快......家是二十年前的流行歌曲《望故乡》，“越靠近故乡心情越凄凉，回家的念头从不敢奢望……是什么让我有了回家的渴望，我爱故乡一如往常”……家是爸妈的唠叨，嘘寒问暖，情深意长......冷吗？别冻着！盖好了！用热水啊！……家是烫背的热炕头，困了就倒头睡，不困就侃大山……家是滚烫的炭炉， 屋外零下15，屋内凑活温度……家是晚上睡觉时冰冷的三床被， ...
2023-01-29 07:30:17
2654
原创 当用户输入一堆这样的字符串到 Elasticsearch ？
1、问题引出如下样例数据已导入 Elasticsearch，如何实现特定字段检索？并计算出特定子字段的长度？"message":"[策略排序]排序后结果:[{\"intentItems\":[\"200001\"],\"level\":1,\"moduleCode\":\"CENTER_PIT\",\"priority\":100,\"ruleId\":3947,\"sortScore\":99...
2023-01-13 07:00:34
1001
原创 2023，做点事
1、需求公众号后台或私信会不定期收到来自一些传统企业或中小型互联网公司的 Elasticsearch 相关项目、产品的架构设计、方案设计、运维、性能优化等的需求。类似需求可大致分为如下几类：一、企业有外包需求，期望 Elasticsearch 相关部分整包给外部团队完成。模块相对独立，期望完成全文检索、满足特定需求的检索和数据分析需求，需要整包出去。项目已经完成，但是需要运维维护，当下技术团队实力...
2023-01-04 17:35:31
939
1
原创 时间从来不语，确回答了所有问题——我的2022年终总结
趁着没阳，趁着电脑还能开机，趁着还能写，赶紧小结过去这一年。没有别的感觉，就是感觉太快，时间太过匆匆.....最大的感触是两个字“变化”，如果非要说四个字是“变化太快”，就如当下的yi情政策，从“水泄不通”到“一泻千里”，弹指一挥间。如烟、如梦、如风、如影......已记不得年初的豪言壮语，已看不到往日的车水马龙，有点咳嗽，嗓子还疼......过往年终总结，就像小时候写过日记陈列中老家中的某个角落...
2022-12-31 08:35:46
1411
原创 Elasticsearch 日志能否把全部请求打印出来？
1、实战问题请问一下球主，es怎么配置可以把请求日志都打印出来。就是不管是调用借口，还是kibana查询数据，es能打印dsl的请求日志吗？？求指导。怎么配置？——问题来源：https://t.zsxq.com/09vv8rqZj2、Elasticsearch 日志必知必会2.1 Elasticsearch 日志用途集群状态监测和故障诊断。2.2 Elasticsearch 日志缺省路径$ES_H...
2022-12-29 22:26:36
3255
2
原创 带你一起用 ElasticStack 搞定 Wireshark 抓包数据可视化
1、Wireshark 介绍Wireshark 是一个功能十分强大的开源的网络数据包分析器，可实时从网络接口捕获数据包中的数据。它尽可能详细地显示捕获的数据以供用户检查它们的内容，并支持多协议的网络数据包解析。Wireshark 适用于 Windows 和 UNIX 操作系统。它可被用于检查安全问题和解决网络问题，也可供开发者调试协议的实现和学习网络协议的原理。Wireshark windows ...
2022-12-16 19:45:50
1231
1
原创 推荐｜资深架构师 10 年 10 条干货职场心得
出道这么些年，跳过好多公司，除了国企其他的基本上都去过，甲方、乙方、外包、外企、互联网公司、创业公司…总结下来有这么些体会，希望能对你和大家有些参考价值。1. 保持学习可能离开了学校之后，所有的学习几乎都出于工作的需要，研究各种算法、源码之类的，但是技术会过时、会淘汰，人也是一样的，只有让自己一直处于在学习的状态中，才能更好的保持自己的竞争力。毕竟随着年龄、资历的增长，熬夜通宵不是不行，但是恢复起...
2022-12-13 12:29:30
648
3
原创 Elasticsearch 8.X 有哪些自动补全的检索方式？
1、自动补全或前缀匹配检索实现效果图Elasticsearch 能实现自动补全检索的方案很多，可以简单归结为如下几种不同的方案：方案一：Prefix 前缀匹配检索。方案二：MatchPhrase prefix 短语前缀匹配检索。方案三：更细粒度的 ngram 分词间接解决前缀匹配检索。方案四：Search as your type 类型。方案五：Completion Suggest 自动补全。方案...
2022-12-12 07:30:43
802
原创 由 Elasticsearch 空间换时间的线上问题说开去......
1、线上实战问题请教一下各位朋友，关于 ngram 的 slop 影响搜索结果？1、前置条件：商品A的SPUCodeText为：OWBB050C99JER0021001商品B的SPUCodeText为：VSA00293ABBLACKFW2022商品C的SPUCodeText为：2WHGG0VNT03HHFC99FW20222、现况：搜索商品A的SPUCodeText编码：OWBB050，slop设...
2022-12-08 07:30:43
620
转载 一起体验 skywalking+es8.5.x 实时监控应用运行信息
序言企业应用系统发展越来越庞大，依赖越来越多的产品组件，集成越来越多系统， 整体应用系统的性能取决于”木桶短板“，为了捕捉系统的短板问题，更好的持续优化，需要一套完备的”可观测性“系统，为系统架构师们或者决策者们提供数据库支持。可观测性什么是可观测性呢？简单来说，就是日志、指标、链路追踪的整套监控体系。图示：可观测性示意图应用系统运行会产生很多运行日志，包括中间件日志、框架日志、业务日志等，日志需...
2022-11-28 07:30:02
2923
1
原创 Elasticsearch 8.X DSL 如何优化更有助于提升检索性能？
1、企业级实战 DSL（数据已经脱敏） 2、大家可以看一下，能发现哪些问题？ 根据我的实战和咨询经验，我发现如下几个问题。当然，这是在和球友交流确认问题之后总结出来的。2.1 问题1：bool 组合嵌套过深。官方实际是有参数来约束的，indices.query.bool.max_nested_depth——bool 最大支持的嵌套层数是 20，并且过大的嵌套层数会导致“堆栈溢出”异常问题。那 bo...
2022-11-26 07:28:23
1268
原创 图解：Elasticsearch 8.X 如何求解环比上升比例？
问题描述：有个聚合的需求，问下大家，一个索引中有时间字段 要求 计算本月和上月相比的环比上升比例？——来自GPVIP群。
2022-11-24 23:31:34
1121
原创 一个线上问题引发的思考——Elasticsearch 8.X 如何实现更精准的检索？
1、线上问题——问题来自：死磕Elasticsearch 知识星球微信群这个问题涉及到业务细节，至今没有定论。不过，该问题引发了我的思考。2、我的一点思考我们使用 Elasticsearch 到底用来做什么？除了 Elasticsearch 早已不是10年前因“菜谱”而火出技术圈的搜索引擎组件，它早已不是“单兵作战”，而是 ELKB 形成的 Elastic Stack “行走江湖”。但，至少技术选...
2022-10-31 07:30:44
1497
原创 为什么技术圈都在盛传《纳瓦尔宝典》？
7月2号买的实体书，断断续续已读过两遍，樊登读书听过7遍。读一遍有一遍的收获，且每次读完都会有新的认知。《纳瓦尔宝典》豆瓣 5180 人评价，评分8.5分。另外一本查理·芒格的商界畅销书《穷查理宝典》豆瓣共 11648 人（出版于6年前），评分8.6分。对比之后，可见一斑。多方评价看，《纳瓦尔宝典》的确是一本好书。但，现在给下结论还为时过早。一本好书需要经过岁月的洗礼、经得住时间的考验，大浪淘沙般...
2022-10-18 07:45:40
2555
原创 Elasticsearch 8.X 防止 Mapping “爆炸”的三种方案
1、什么是 Mapping “爆炸”？Elasticsearch 映射如果不做特殊处理，默认 dynamic 为 true。dynamic 为 true 的确切含义是：根据导入的数据自定识别字段类型（有可能不精确），也就是说，可以提前不指定 Mapping，也能写入数据。但，这导致的问题也非常明显。Mapping 字段越多，会超过默认字段数上限。超过上限后会导致性能下降和内存问题，特别是在高负载或...
2022-10-17 07:30:28
1627
原创 Elasticsearch 8.X 导出 CSV 多种方案，一网打尽！
1、问题来源看到 Elasticsearch 数据导出需求，我的第一反应是，好好的为啥要导出？写入的时候直接写给定格式的文件如 CSV 不就可以了。其实真实的业务场景，远非我想的这么简单。Elasticsearch 作为存储库和检索源，相关的输入数据来源早已包罗万象、几乎“无所不能”。如下图所示：关系型数据库（MySQL、Oracle、PostgreSQL）、非关系型数据库（MongoDB）、大数...
2022-10-11 15:21:19
3050
原创 Elasticsearch 8.X 路径检索的企业级玩法
1、企业级实战问题问题描述如下："path"："hdfs://xx.xx.xx:8200/home/lht/aaa.doc"。想检索到aaa文件。并且以doc为筛选条件。可行吗？就是我有文件数组。匹配到文件数组里的文件类型就检索出来？——问题来源：GPVIP 微信群2、问题定义给定一个路径 path，期待实现：输入扩展名，可以实现检索？扩展要求：有没有专门针对 path 路径的检索或者相关实现？问...
2022-09-19 07:15:20
1942
原创 Elasticsearch 8.X 集群无响应，怎么办？
在企业环境中，Elasticsearch 一般部署为多个节点的分布式集群，对 Elasticsearch 集群的读取或写入请求需要在多个节点之间进行协调。在单个服务器节点上没有数据的“全局视图”，这是认知前提。当出现可靠性问题时，如果 Elasticsearch 集群设置有问题或整个集群不稳定，那么“紧急救火”可能会很紧张。往小了说，可能影响客户体验，客户用着不爽；往大了说，处理不及时或处理不利，...
2022-09-14 07:30:23
1130
转载 Elasticsearch 8.X 新官方文档不好用，怎么办？
1、8.X 新版本官方文档升级了上图：熟悉官方文档的小伙伴都知道：早期的导航栏都在右边。8.X新版本统一换到了左边。2、小伙伴们使用过程反馈问题问题1：ES官网最近右侧的导航栏很乱，非常不舒服，难道只有我电脑这样么？问题2：我是感觉很不好用，而且有时候右侧导航栏无法下拉。从目录定位文章就不是很方便？3、我已向官方反馈该问题https://discuss.elastic.co/t/the-new-v...
2022-09-05 07:05:39
1207
原创 Kibana 8.X 如何做出靠谱的词云图？
1、问题产生Kibana 实现一个词云效果并不复杂，甚至可以说非常简单。大致可以分成如下几个步骤：步骤1：已有索引待做词云的 text 类型字段设置：fielddata 为true，以便基于分词结果聚合操作。步骤2：在 8.X 的 kibana 的 Data Views关联索引。步骤3：在dashboard控制面板选择 Aggregation Based 下的 Tag cloud，选择步骤1设定的...
2022-09-05 07:05:39
1540
原创 怎么把Logstash 通过 Kibana 可视化监控起来？
书接上一回，MetricBeat + Elasticsearch + Kibana 实现监控指标可视化。问题来了，Logstash 如何监控起来呢？1、看一下官方文档https://www.elastic.co/guide/en/logstash/8.3/monitoring-with-metricbeat.html说一下大前提：logstash 进程得启动且常在。logstash 启动后得默认端...
2022-08-24 06:31:52
2034
原创 JMeter 如何实现 Elasticsearch 8.X 性能测试？
1、Elasticsearch 性能测试工具包含但不限于：1、rallyElasticsearch 官方压测工具。下载地址：https://github.com/elastic/rally文档地址：https://esrally.readthedocs.io/en/stable/2、 LoadgenElasticsearch 专属压测工具，Medcl 大佬（原 Elastic 中国第一人，现极限科...
2022-08-18 17:55:36
2156
原创 一节课让你学会从 MySQL 到 Kibana 微博用户及推文数据可视化
先上图，有图有真相！微博数据可视化熟悉 Elastic Stack 的小伙伴对上面的图会感觉并不新鲜，对其中的技术栈也如数家珍，如下图一把梭走起：数据同步MySQL 数据借助 Logstash 同步到 Elasticsearch，然后借助 Kibana 进行可视化。但是，如下问题该如何解决呢？问题 1：MySQL 不是全部字段都是结构化的，其中一个详情字段存储了 Json？MySQL 数据源问题 ...
2022-08-16 15:50:28
816
原创 Elasticsearch 8.X 如何动态的为正文添加摘要字段？
1、实战问题返回指定字段可以用："_source":{"includes":[*],"excludes":["a"]}那有没有什么办法在返回指定字段的基础上指定返回前50个字符呢？例如我现在有一个file_data字段，字段长度可能在一千以上并且需要对这个字段分词和检索，目前想指定返回file_data字段的前50字符...
2022-08-16 15:50:28
794
原创 Elasticsearch 为什么会产生文档版本冲突？如何避免？
1、Elasticsearch 版本冲突复现先让大家直观的看到 Elasticsearch 文档版本冲突。1.1 场景1：create 场景DELETEmy-index-000001#执行创建并写入PUTmy-index-000001/_create/1{"@timestamp":"2099-11-15T13:12:00","message":...
2022-08-06 09:00:51
1947
原创 Elasticsearch 8.X 检索实战调优锦囊 001
检索锦囊 1：尽可能的使用缓存对于精准匹配的查询，不关注评分结果，只关注数据是否满足检索需求。可以考虑用 filter “包裹一层”，如处理时间范围检索，Elasticsearch 能缓存部分结果。但，要说明的是更换时间窗口，换不同时间段检索，原有缓存不起作用。关于 filter 的缓存效果，官方文档如是说：“Frequently used filters will be...
2022-07-27 17:55:18
1492
原创 说说 Elasticsearch filter 和 post_filter 的区别？
1、线上问题如上所示，问题是：“把 green 这个条件放到 query 里面做一个 bool 查询，有什么不一样吗？”2、拿官方样例飞行数据举例这个问题涉及到：filter（过滤器）和 post_filter（后过滤器）的区别，我们拿官方样例索引：kibana_sample_data_flights 做一样演示。3、filter 过滤+聚合的场景直接上 DSL，检索条件...
2022-07-22 18:15:16
1912
原创 人生没有捷径，专注做好一件事就是捷径——《元智慧》读后
读书到底有没有意义？这个问题让我想到当代著名学者周国平在回答“人生到底有没有意义？”的答复——“人生本无意义，但寻找‘意义’的过程是有‘意义’的”。其实这个答案也适用于读书——“读书本无意义，但寻找读书意义的过程是有意义”的。读完一本书记不住怎么办？俞敏洪老师和董宇辉在东方甄选的直播间也讨论过这个问题，俞老师和董宇辉都坦言，他们也是记不住的。但，可以肯定的是，当书读得多了...
2022-07-20 07:26:49
1741
4
原创 干货 | Elasticsearch 8.X 版本升级指南
1、Elasticsearch 版本升级常见问题问题1：我现在集群是：5.X、6.X、7.X，要不要升级？问题2：版本跨度这么大，如何升级？7月6日，读者凌晨 00:30 留言：“怎么不出升级的文章呢？需求比较迫切，所以，就有了今天的文章。我们系统得敲一遍，让大家明白如何升级。2、Elasticsearch 要不要升级？Elasticsearch 版本迭代历史如下：Ela...
2022-07-15 11:29:41
7009
10
原创 Elasticsearch 删除重复文档实现方式，你知道几个?
之前文章有讲到借助：fingerprint filter 插件实现去重。近期又有社群小伙伴问到同样的问题，这里一并梳理回复如下。1、python 脚本实现文档去重这里讲的实现，借助 python 脚本实现。前置条件：由于涉及 8.X 版本 Elasticsearch 以安全方式的连接，这里需要 python 升级到 3.10+ 版本才可以。1.1 实现前提标定文档重复标记...
2022-07-11 07:35:40
1838
原创 全网首发 | Elasticsearch 认证专家考试（ECE）8.1 版本最新考纲解读
1、Elastic 认证考试版本变化史2022年8月4日开始，Elastic 认证专家考试（ECE）版本号升级为 8.1 版本。Elastic 认证版本更迭历程如下：版本号开始时间结束时间时长（天）6.52018-06-292019-08-05402 天7.22019-08-062021-06-30694 天7.132021-07-012022-08-03398 天8.1...
2022-07-07 07:50:25
3256
Windows下libevent C++封装类实现
2016-12-11
C++内部培训讲义
2016-08-07
libcurl.lib下载（32bit和64bit）
2015-09-17
MFC动态划线实现源码
2013-03-30
（可视化文件消息一体化收发Socket实现V0.1说明文档
2013-03-17
可视化文件消息一体化收发Socket实现V0.1
2013-03-17
Windows Sockets 规范及应用
2010-12-20
路由器交换机配置命令详解.doc
2010-04-18
C++ 笔试面试宝典2009版.doc
2010-04-18
? Kerberos认证相关问题思路请教：
2013-11-03
求samba下的rpcclient工具使用方法？
2013-09-17
TA创建的收藏夹 TA关注的收藏夹
TA关注的人