铭毅天下-CSDN博客

原创重要！！Elasticsearch 安全加固指南

1、安全无小事此处省略 1 万字。。。。。。2、Elasticsearch 安全演进历史6.3 版本之前 X-Pack 需要单独安装。6.3（含）及之后版本 X-Pack 已集成到 Elasticsearch。如果没有第三方加固，1.X——6.8之前版本，Elasticsearch 都属于“裸奔”状态。6.8 版本和 7.1 版本之后，Elasticsearch X-P...

2022-07-04 00:11:11 2712

原创图解 | Elasticsearch 获取两个索引数据不同之处的四种方案

1、实战项目问题......我有2个index，假设其中index1中数据是 id1，id2，id3，index2 中是 id1，id3。我的目的是能找出缺失的 id2 的数据，并且后续进去的 id4，id5 如果有缺失的也能发现。——问题来源：死磕 Elasticsearch 知识星球2、问题解读假定有两个索引 index1、index2，这两个索引中有大量相同数据。这...

2022-06-27 09:27:21 3284 1

原创 Elasticsearch 如何实现时间差查询？

1、Elasticsearch 线上实战问题问个问题啊，es能通过两个字段差值进行查询吗？类似select * from myindex where endtimes- starttime > 10这种？——问题来源：死磕Elasticsearch 知识星球那么问题来了，Elasticsearch 如何实现时间差的查询呢？2、先说一下 MySQL 实现2.1 MyS...

2022-06-20 07:06:00 4218

转载 Elasticseach：从微服务架构演变到大宽表思维的架构转变

序言图示：Elasticsearch 在DB-Engine综合排名第8Elasticsearch 简称"ES”, 在DB-Engine 综合排名第8，已经持续了相当长的时间，按照当下热度应该会继续保持或者上升一个名次；ES在多数工程师印象中最深刻可能是ELK三件套或者全文检索领域，但在笔者看来，应该是业务系统领域“大宽表查询”场景，或者叫“数据库查询加速”场景。下面就从微...

2022-06-18 12:00:01 2882 2

原创干货 | Elasticsearch Java 客户端演进历史和选型指南

1、Elasticsearch java 客户端为什么要选型？Elasticsearch 官方提供了很多版本的 Java 客户端，包含但不限于：Transport 客户端Java REST 客户端Low Level REST 客户端High Level REST 客户端Java API 客户端非官方的 Java 客户端，包含但不限于：Jest 客户端BBoss 客户端Sp...

2022-06-17 15:32:58 3112 6

原创 Elasticsearch 有没有比 reindex 更轻量级的更换字段类型的方式？

1、线上实战环节遇到问题现在有一组数据,其中 resultChar 是 keyword 类型,但其中有数字也有字符串,请问怎么能在大于小于查询的时候将其中的数字按照数字的类型进行大于小于的查询,结构如下:{"lisCheckItemList":[{"resultChar":"1","ite...

2022-06-14 06:52:03 2578

五一假期读完了《刻意练习》，这本书我在樊登读书 APP 听过 6 遍。几年前出差囫囵吞枣翻过，没有留下深刻的印象，只记得书中穿插了大量的案例，有一些心理学术语读不大懂。书读完总得留下来点什么？否则，我实在想不出读过和没读的区别。俞敏洪老师早年演讲中曾经调侃：“摸一摸书皮也算，至少老子摸过（书皮）”，这有种“牛肉穿肠过，佛祖心中留”的既视感。读完后，反观樊登老师的讲解，我的感触是：他讲解的很到位，几乎涵盖了书中最最精华的部分，且不留死角。樊登 APP 里有个模块之前叫“樊登读书”，现在叫“樊登讲书”。虽仅有

2022-06-04 23:12:33 3413 6

原创写在带领 100 人通过 Elastic 认证后......

1、小事做起来，可能就是大事。2、一个人，可以走的很快，但一群人走的更远，且好玩。3、如何提高大家的获得感，我们一直在努力。4、经验是可以复制的，且是可以发扬光大的。5、从长远出发，2018年我想不到2022年的样子，2022年我也无法想象2026年的样子，但，坚持去做，可能就会有奇迹。6、坚持是很难的事，在坚持的路上何止自己想退缩和停下来，甚至你身边的人都劝你停下来了。...

2022-05-28 07:23:19 2965

原创用 Elasticsearch 造个“知网”难不难？

近期“知网”的热度一直不减，本来可以拿一些热点图片、网友评论作为开场。算了，这不是我一个技术博主该做的。此处仅拿2022年5月24日早晨 6:00 微博搜索“知网”得到的前20条动态信息的词云说话。基于 ik_smart 中文分词器的词云图在网友不建议专家建议的大环境下，作为老百姓对“知网”的建议如下：1、尊重版权，每篇文档被下载（人工备案下载，非爬虫）获得的收益一半（比...

2022-05-24 10:54:24 4165 2

原创有什么轻量级的大数据技术？

流行的大数据技术有Elasticsearch、Hadoop, Storm, Hive、Spark等，这些都是大集群方案，适合有海量规模数据的巨大企业。实际上，流行的大数据技术通常也源自这类头部互联网企业。很多场景下，数据虽然也很多，但小集群甚至无集群就足够处理，远没多到这些巨大企业的规模，也没有那么多的硬件设备和维护人员。这种情况下，就需要轻量级的大数据技术了。轻量级的大数据技术不多，集算器SPL是其中的佼佼者。SPL是开源的大数据JAVA计算库，不仅代码简洁，架构轻便，易于集成，而且提供了高性能存储格

2022-05-17 16:57:04 4681 1

原创干货 | Elasticsearch 8.X 节点角色划分深入详解

0、问题引出如果你的 Elasticsearch 集群是 7.9 之前的版本，在配置节点的时候，只会涉及节点类型的概念。我相信大家会对下面的概念比较熟悉：主节点数据节点协调节点Ingest 节点冷热集群架构......Elasticsearch 7.9 版本引入了节点角色的概念。最近社群小伙伴关于节点角色提了不少问题，列举如下：Q1：请问 Nginx + ES Coord...

2022-05-13 12:09:08 5812

原创 Elasticsearch 快照生命周期管理 (SLM) 实战指南

1、Elasticsearch 保证高可用性的方式Elasticsearch 保证集群高可用的方式包含但不限于如下三种：方式一：副本分片。主分片失效后，副本分片会被提升为主分片。方式二：跨集群复制主从同步。简称：CCR，指的是索引数据从一个 Elasticsearch 集群复制到另一个 Elasticsearch 集群。对于主集群的索引数据的任何修改都会直接复制同步到从索...

2022-05-05 15:59:55 6017 9

原创干货 | Elasticsearch 数据建模指南

0、题记我在做 Elasticsearch 相关咨询和培训过程中，发现大家普遍更关注实战中涉及的问题，下面我选取几个常见且典型的问题，和大家一起分析一下。订单表、账单表父子文档可以实现类似 SQL 的左连接吗？通过 canal 同步到 ES 中，能否实现类似左连接的效果？具体应该如何建模？一个人管理 1000 家连锁门店，如何更高效地查询自己管辖的商品类目？企微一个人...

2022-04-25 07:04:16 5248 1

转载运用 Elasticsearch 8.1.x 实现智能问答系统

序言图示：一个简单的智能问答系统。在当前业务系统中，是否感受到越来越多的智能化个性业务诉求，做一个智能化的商品搜索，用于检索商品的相似性；做一个图片搜索，检索相似的图片；做一个语音搜索，检索相似度极高的音频，这种智能化的需求越来越多。可能你听过看过很多机器学习或者深度学习的“名词“，对于一些常规的应用工程师来说，这些距离个人很远，打开各种算法网站，看到各种模型，看的头疼。...

2022-04-19 19:28:38 6310 1

原创干货 | Elasticsearch 检索类型选型指南

之前在 DSL 中一次问卷调查中，收集到如下几个和搜索类型相关的问题。Q1：麻烦讲一下es常用的查询关键词，及使用场景，比如term、match、should、filter等等，谢谢老大......Q2：讲下查询term，match，match_pharse，operator，mget，multi_match等的用法和区别?Q3：term、match、phrase、boo...

2022-04-17 21:10:00 7606 7

原创从一个线上问题看 Elasticsearch 数据清洗方式

如下问题来自真实场景，用对话方式模拟还原问题解答过程。小明同学提问：铭毅老湿，如下两个链接，我们底层的数据是带空格的，但是用户输入可能不带空格这种改怎么处理?http://192.168.1.1/sr/6mm/http://192.168.1.1/sr/6%20mm/铭毅老湿：上面两个链接是用户的行为？我们不能限制用户的输入是吧？小明同学：是哦，让用户输入字符加空格或者...

2022-04-10 23:45:15 6911

原创用 Elasticsearch 统计做了几次核酸检测？怎么破？

1、两个实战场景问题事出有因，近期的两个问题比较类似：Q1：如何在 Elasticsearch 实现统计做了 5 次（含以上）核酸检测的人员名单及详情？Q2：请教下大家，业务场景要记录每个人的每天的出勤情况，今天出勤标记为1或者当天日期，未出勤不记录，或者为0，有个个人信息索引，那么这个出勤情况改怎么存储，用数组？还是这种场景不适合es？要实现：查询在某段时间至少出勤几次...

2022-03-30 19:04:15 10944

原创看着非常炫酷的Kibana可视化，你也可以搞定！

1、Elastic Stack 与KibanaElastic Stack 数据平台由 Logstash、Beats、ElasticSearch 和 Kibana 四大核心产品组成，在数据摄取、存储计算分析及数据可视化方面有着无可比拟的优势。Logstash 和 Beats作为底层核心引擎组成数据摄取平台，可以将数据进行标准化，便于后续分析使用。其中，Beats作为轻量级...

2022-03-28 08:52:32 9065

原创 Windows 部署 Elasticsearch + kibana 8.0 指南

以下内容图示为主，主要探讨和早期版本的不同，给大家升级 8.0或者更高版本铺路。一、Windows单节点集群部署1、步骤1：下载并解压 elasticsearch、kibana 安装包。2、步骤2：启动 elasticsearch。注意！！！！！不要修改任何配置，一会我会讲为什么。启动 elasticsearch 后，记录命令行提示的信息。如下：->Elast...

2022-03-23 13:09:56 10966 8

原创云服务器 Centos7 部署 Elasticsearch 8.0 + Kibana 8.0 指南

1、昨晚上更新云服务器部署8.0视频Part1：https://t.zsxq.com/UJ6AY7yPart2：https://t.zsxq.com/YzVrZJq2、Elasticsearch 8.0 云服务部署和之前方式到底有什么不同？默认的不修改任何配置的官方推荐的部署方式，很快！基本上 0 配置修改动动鼠标即可完成部署。参考如下文章：Windows 部署 Elas...

2022-03-23 13:09:56 8999 22

原创 Elasticsearch 集群状态变成黄色或者红色，怎么办？

1、引言本系列文章介绍如何修复 Elasticsearch 集群的常见错误和问题。这是系列文章的第六篇，主要探讨：Elasticsearch 集群状态变成黄色或者红色，怎么办？第一篇：El...

2022-03-13 09:31:55 9143

原创 Elastic 认证考试团购报名第四季

0、Elastic认证考试介绍认证通过后，授予的徽章下方会有如上一段话：Elastic认证工程师拥有构建完整的Elasticsearch解决方案的技能。包含：包括部署、配置和管理Elast...

2022-03-08 07:36:00 7370

原创干货 | Elasticsearch Nested 数组大小求解，一网打尽！

1、实战线上 Nested 问题如何查询所有 objectList （Nested 类型）里面的 lossStatus="ENABLE" 且 objectList 的数组大小大于2的数据?...

2022-03-07 07:05:05 8093 4

原创 Elasticsearch 出现 “429 rejected” 报错，怎么办？

1、引言本系列文章介绍如何修复 Elasticsearch 集群的常见错误和问题。这是系列文章的第五篇，主要探讨：Elasticsearch 出现 “429 reject 报错"，怎么办？...

2022-02-28 15:32:18 10338

原创阿里云大佬叮嘱我务必要科普这个 Elasticsearch API

上截图是阿里云魏子珺大佬（阿里巴巴集团技术专家）周一叮嘱我的。魏子珺大佬的早期分享参考：2021 年 Elasticsearch 生态和技术峰会干货总结1、啥 API 这么重要，阿里大佬要...

2022-02-25 00:22:38 6450

原创 Elasticsearch JVM 堆内存使用率飙升，怎么办？

1、引言本系列文章介绍如何修复 Elasticsearch 集群的常见错误和问题。这是系列文章的第四篇，主要探讨：Elasticsearch JVM 堆内存使用率飙升，怎么办？第一篇：El...

2022-02-21 07:15:00 11708

转载 esrally 如何进行简单的自定义性能测试？

1.基础概念Rally 最初于 2016 年发布，直到 2018 年 7 月才发布 1.0 版本，Rally工具是 Elasticsearch 开发团队用来运行夜间基准测试的工具。Ra...

2022-02-14 22:15:58 6697

原创 Elasticsearch 断路器报错了，怎么办？

1、引言本系列文章介绍如何修复 Elasticsearch 集群的常见错误和问题。这是系列文章的第三篇，主要探讨：Elasticsearch 断路器报错了，怎么办？第一篇：Elastic...

2022-02-13 21:35:00 6074

原创比快更快，Elasticsearch 8.0 正式发布！

1、Elastic 8.0 正式发布2022 年 2 月 11 日，Elastic 8.0 正式发布。Elastic 官方宣告：从此 Elastic 进入速度、规模、相关性和简单性的新时代...

2022-02-12 10:09:15 9434

原创如何从0到1打磨一门 Elasticsearch 线上直播课？

拔掉网线接口这个平时一秒钟就搞定的事，我愣是搞了半分钟才拔出来。这是我昨晚 11 点半最后一次直播后的最直接感受：嗓子嘶哑、身心俱疲。从2021年8月16日接到李猛老师邀约和咕泡教育合作做...

2022-02-10 21:24:00 4723

原创 MetricBeat + Elasticsearch + Kibana 实现监控指标可视化

1、Elasticsearch 监控指标可视化概述之前的推文 Elasticsearch 磁盘使用率超过警戒水位线，怎么办？有读者留言：“配合监控系统”。是的，监控系统就像我们的车载监控，...

2022-02-08 21:25:00 8175

原创 Elasitcsearch CPU 使用率突然飙升，怎么办？

1、引言本系列文章介绍如何修复 Elasticsearch 集群的常见错误和问题。这是系列文章的第二篇，主要探讨：Elasitcsearch CPU 使用率突然飙升，怎么办？2、Elast...

2022-02-07 21:25:00 9280

原创 Elasticsearch 磁盘使用率超过警戒水位线，怎么办？

1、引言本系列文章介绍如何修复 Elasticsearch 集群的常见错误和问题。这是系列文章的第一篇，主要探讨：Elasticsearch 磁盘使用率超过警戒水位线，怎么办？2、从磁盘常...

2022-02-06 21:29:00 9422

转载 5年+ Elasticsearch 电商实战经验深度复盘

1、我的搜索心路历程回顾自己过去的5年，从一名后端开发工程师，自我摸索、学习、探究，成为一名搜索开发工程师。复盘总结自己经历过的搜索的三个阶段，可简要概括为：（1）关键词搜索、（2）相关性...

2022-01-25 15:54:08 5897

原创全球仅通过不到 2000 位的 Elastic 认证工程师，到底难不难？

0、从Elastic 官方的一篇报道说开去https://www.elastic.co/cn/blog/master-the-elastic-stack-with-trainings-fe...

2022-01-18 23:45:55 7422

原创 Elasticsearch ILM 索引生命周期管理常见坑及避坑指南

之前的博文和视频都讲过 ILM 索引生命周期管理。但从近期的反馈和我自己的实战经验看，依然会有很多坑。现将我自己和大家遇到的常见坑汇集如下，希望能让后来小伙伴少走弯路。少啰嗦，直接上干货。...

2022-01-16 16:07:55 9023 3

原创 Elasticsearch 问题解决方法论——你的问题是什么？

1、问题来源今天收到一位球友的问题，好家伙：PDF 文档，问题内容长度 25 页。这是我职业生涯见过的最长的问题了。我的第一反应：太长了。打开后仔细看了一遍，的确内容很全，包含但不限于：M...

2022-01-10 12:57:39 4662

原创 35岁了，依然倔强的相信未来！——我的2021年终总结

读大学的几年，一直保持着写生日寄语的习惯，复盘一年的得失，憧憬一下美好的未来。2010年读研前买了个如下截图的笔记本，手写记录研究生的生活、求职经历、恋爱结婚、工作经历、生活琐事，每年都会...

2021-12-31 07:01:00 6759 20

原创 Elasticsearch 有没有数组类型？有哪些坑？

1、Elasticsearch 数组常见问题清单近期 Elasticsearch 数组问题被问到的比较多，为了方便大家对数组建立全局认知，我把数组相关实战问题梳理出来，让更多后来人遇到类似...

2021-12-30 23:52:38 8483 8

原创 Enrich Processor——Elasticsearch 跨索引关联数据新方式

1、实战项目需求需求1：有一个小需求kafka源数据:topicA:{"A_content":"XXX","name":"A","type":"XXX","id":1}topicB:{"...

2021-12-24 10:47:53 6121 4

一幅动图，搞定 Elasticsearch 核心基础原理！

2024-05-11

Windows下libevent C++封装类实现

windows平台下对于服务器高并发的网络模型选型中，使用libevent是个不错的选择。本文的背景基于：国内博客对于libevent大多介绍Linux实现，大多是C语言的实现，Windows平台下C++相对较少或者较旧。本文针对libevent从服务端、客户端两个角度实现了封装类，真正做到，我们在使用封装类时候，只需要关注业务逻辑的处理，不需要关注socket的通信的细节。

2016-12-11

C++内部培训讲义

1、C++内部培训讲义,内容涵盖：C++基础、C++面向对象三大核心点、STL、网络编程、多线程编程、C++学习建议（推荐书籍、大牛博客）等。 2、1天左右培训课程。 3、精心结合自己实践、笔试、面试经验真理3天以上完成。 4、源代码参考： https://github.com/laoyang360

2016-08-07

UML之深入浅出类图

1.综合N多高效、公司类图讲义； 2.研究生课堂使用效果极佳。

2016-01-19

word转chm（亲测试绝对好用）

1.word转chm（亲测试绝对好用） 2.绿色无需安装 3.网上下载了接近2个小时，就找到这一个好用的。这样大家都不用走弯路了。

2016-01-07

OTL实战小结源码

1.VS2010下使用OTL源码，包含库，2010下编译测试ok。 2.实现了增、删、改、查功能，可供参考学习。

2015-12-13

libcurl.lib下载（32bit和64bit）

http://blog.csdn.net/laoyang360/article/details/48517865 64bit libcurl.lib生成步骤及注意事项详解

2015-09-17

CiniFile解析类

CiniFile解析类（特顺手）参见csdn 铭毅天下博客，内有详细描述。

2015-07-05

JSON数据构造及解析详解

JSON数据构造及解析详解(C++,Json, cppJson)

2015-07-05

MFC动态划线实现源码

在对数据的趋势描述方面莫过于将点存储下来描线。即如任务管理器中CPU使用率一样，一目了然就很直观看出使用的趋势。现在360管理软件里面有开始时间的变化趋势。其他也有类似的趋势划线软件功能的实现，很是直观！项目的需要，我们也需要类似的划线趋势统计模块来统计比如时间随着计数增加的变化趋势。

2013-03-30

（可视化文件消息一体化收发Socket实现V0.1说明文档

1）支持发送不同类型的文件（.txt，.doc，.jpg，.exe，.mp3等所有类型） 2）支持发送字符消息。 3）支持可视化、直观显示与操作。 4）支持单机收发、局域网内两台机器收发。

2013-03-17

可视化文件消息一体化收发Socket实现V0.1

2013-03-17

透析C语言（CNL内部培训）

综合经典面试试题、网络博客、文库资源总结的C深入培训资料！望大家共同学习，共同进步！

2012-11-21

Windows Sockets 规范及应用

本书适应了Windows、Internet及计算机网络普及的潮流，介绍了一套在Windows下网络编程的规范－Windows Sockets。这套规范是Windows下得到广泛应用的、开放的、支持多种协议的网络编程接口。从1991年的1.0版到1995年的2.0.8版，经过不断完善并在Intel、Microsoft、Sun、SGI、Informix、Novell等公司的全力支持下，已成为Windows网络编程的事实上的标准。为使读者能够充分理解和应用这套规范，本书不但对Windows Sockets 1.1及2.0规范作了较为详尽的介绍，还结合了作者的实际工作，给出了具有实际应用价值的程序实例。书中的内容包括：Windows Sockets规范1.1版及2.0.8版介绍；Windows Sockets网络编程指导和具体应用实例；Windows Sockets规范1.1版及2.0.8版库函数参考等。本书体系完整，文字流畅，可供从事网络应用开发的工程技术人员和大专院校师生参考。

2010-12-20

Soket基础深入详解

什么是Windows Sockets规范? 规范的定位等，对初学者非常有用！

2010-12-20

数据结构选择题打印 word版 .doc

这是大学本科期末考试最好范例选择题模板；也可以作为考研复试很好的参考资料。

2010-06-25

网络工程师复习资料精华.pdf

网络工程师复习资料精华,对于复习中困惑的人指明了方向！

2010-04-18

路由器交换机配置命令详解.doc

Cisco路由器交换机配置命令详解 1. 交换机支持的命令：交换机基本状态： switch: ；ROM状态，路由器是rommon〉 hostname〉；用户模式 hostname# ；特权模式 hostname(config)# ；全局配置模式 hostname(config-if)# ；接口状态交换机口令设置： switch〉enable ；进入特权模式 switch#config terminal ；进入全局配置模式 switch(config)#hostname 〈hostname〉；设置交换机的主机名 switch(config)#enable secret xxx ；设置特权加密口令 switch(config)#enable password xxa ；设置特权非密口令 switch(config)#line console 0 ；进入控制台口 switch(config-line)#line vty 0 4 ；进入虚拟终端 switch(config-line)#login ；允许登录 switch(config-line)#password xx ；设置登录口令xx switch#exit ；返回命令 .................

2010-04-18

C++ 笔试面试宝典2009版.doc

1.new、delete、malloc、free关系 delete会调用对象的析构函数,和new对应free只会释放内存，new调用构造函数。malloc与free是C++/C语言的标准库函数，new/delete是C++的运算符。它们都可用于申请动态内存和释放内存。对于非内部数据类型的对象而言，光用maloc/free无法满足动态对象的要求。对象在创建的同时要自动执行构造函数，对象在消亡之前要自动执行析构函数。由于malloc/free是库函数而不是运算符，不在编译器控制权限之内，不能够把执行构造函数和析构函数的任务强加于malloc/free。因此C++语言需要一个能完成动态内存分配和初始化工作的运算符new，以及一个能完成清理与释放内存工作的运算符delete。注意new/delete不是库函数。 ..................

2010-04-18

? Kerberos认证相关问题思路请教：

2013-11-03

求samba下的rpcclient工具使用方法？

2013-09-17

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

一幅动图，搞定 Elasticsearch 核心基础原理！

Windows下libevent C++封装类实现

C++内部培训讲义

UML之深入浅出类图

word转chm（亲测试绝对好用）

OTL实战小结源码

libcurl.lib下载（32bit和64bit）

CiniFile解析类

JSON数据构造及解析详解

MFC动态划线实现源码

（可视化文件消息一体化收发Socket实现V0.1说明文档

可视化文件消息一体化收发Socket实现V0.1

透析C语言（CNL内部培训）

Windows Sockets 规范及应用

Soket基础深入详解

数据结构选择题 打印 word版 .doc

网络工程师复习资料精华.pdf

路由器交换机配置命令详解.doc

C++ 笔试面试宝典2009版.doc

? Kerberos认证相关问题思路请教：

求samba下的rpcclient工具使用方法？

数据结构选择题打印 word版 .doc