搜索引擎
文章平均质量分 84
小毕超
善于钻研思考,乐于追求新知识,热爱微服务架构,国内软考高级系统架构设计师职称,国际TOGAF鉴定级企业架构设计师,华为云·云享专家,CSDN博客专家。曾获“联想杯”移动互联比赛 江苏省一和国二成绩,第四届全国应用型人才比赛“兄弟连杯”国一成绩。
展开
-
K8s 部署 elasticsearch-7.14.0 集群 及 kibana 客户端
K8s 部署 elasticsearch-7.14.0 集群 及 kibana 客户端原创 2024-04-13 11:42:12 · 691 阅读 · 0 评论 -
KubeSphere - 搭建 elasticsearch集群 及 kibana
一、KubeSphere - 搭建 elasticsearch集群 及 kibana上篇文章我们介绍了通过 KubeSphere 在 k8s 集群中搭建 redis 集群,本篇文章我们介绍下通过 KubeSphere 在 k8s 集群中搭建 elasticsearch 集群及可视化工具 kibana,下面是上篇文章的地址:https://blog.csdn.net/qq_43692950/article/details/122819844在实验开始前,请确保已经安装完成了k8s 及 kubesp原创 2022-02-09 10:37:43 · 7141 阅读 · 11 评论 -
使用 ElasticSearch 作为知识库,存储向量及相似性搜索
在当今大数据时代,快速有效地搜索和分析海量数据成为了许多企业和组织的重要需求。`Elasticsearch` 作为一款功能强大的分布式搜索和分析引擎,为我们提供了一种优秀的解决方案。除了传统的文本搜索,`Elasticsearch` 还引入了向量存储的概念,以实现更精确、更高效的相似性搜索。原创 2023-09-03 16:03:16 · 5761 阅读 · 3 评论 -
Elasticsearch 7.X 聚合查询 及 ElasticsearchRestTemplate 操作
Elasticsearch 7.X 聚合查询原创 2022-10-30 15:42:49 · 3866 阅读 · 1 评论 -
Elasticsearch 7.X 性能优化
一、ES性能优化在前面的文章我们系统的对ES进行了讲解,包括rest方式操作ES、集群、水平扩容、常见几种分词器的使用、以及Java客户端的操做,本篇文章我们一起来学习下ES的性能优化。二、索引刷新频率 refresh_interval在 elasticsearch 中,写入和打开一个新段的轻量的过程叫做 refresh 。 默认情况下每个分片会每秒自动刷新一次。这就是为什么我们说 elasticsearch 是 近 实时搜索: 文档的变化并不是立即对搜索可见,但会在一秒之内变为可见。这些行为可能会原创 2022-01-03 15:25:32 · 5702 阅读 · 0 评论 -
Elasticsearch 7.X SpringBoot 使用 ElasticsearchRestTemplate 操作 ES
一、ElasticsearchRestTemplate前面学习了es rest接口对es进行操作的方式,并且还学习了es的分片及扩容,有讲解了几种常见的分词器,喜欢的小伙伴可以看下本专栏的其他文章,本篇主要将 在 SpringBoot 中使用ElasticsearchRestTemplate 对ES进行操作。对于SpringBoot对ES的操作早在以前我就写过一篇文章,但那时基于ES 6.X 的,在新版本的ES中都已经不建议使用了。注意: 在网上还有些教程是使用TransportClient进行操作的原创 2022-01-03 12:24:14 · 13250 阅读 · 5 评论 -
Elasticsearch 7.X 中英混合分词器 Smart Chinese 使用
一、Smart ChineseSmart Chinese Analysis插件将Lucene的Smart Chinese分析模块集成到Elasticsearch中,用于分析中文或中英文混合文本。 支持的分析器在大型训练语料库上使用基于隐马尔可夫(Markov)模型的概率知识来查找简体中文文本的最佳分词。 它使用的策略是首先将输入文本分解为句子,然后对句子进行切分以获得单词。 该插件提供了一个称为smartcn分析器的分析器,以及一个称为smartcn_tokenizer的标记器。 请注意,两者均不能使用任原创 2022-01-02 21:44:46 · 5675 阅读 · 0 评论 -
Elasticsearch 7.X 自然语言处理分词器 hanlp 使用
一、hanlp分词器上篇文章我们讲解pinyin分词器的使用,本篇文章我们学习下业界公认的hanlp分词器。上篇文章地址:https://blog.csdn.net/qq_43692950/article/details/122277313hanlp是一个自然语言处理包,能更好的根据上下文的语义,人名,地名,组织机构名等来切分词。其中hanlp在业界的名声最响。其中hanlp内置分词器:分析器(Analysis)hanlp_index:细粒度切分hanlp_smart:常规切分hanl原创 2022-01-02 20:37:36 · 7906 阅读 · 0 评论 -
Elasticsearch 7.X 拼音分词器 pinyin 使用
一、pinyin 分词器前面我们讲到了ik分词器的使用,以及部分源码和自定义词库的讲解,本篇文章我们讲解下拼音分词器 pinyin。上篇文章地址:https://blog.csdn.net/qq_43692950/article/details/122276392我们在百度或其他搜索引擎搜索时,可以发现尽管我搜索的时拼音但也可以搜到我们想要的文字:今天我们学习的pinyin分词器就可以实现这一效果。其中pinyin分词器两种分词规则:pinyin:就是普通的把汉字转换成拼音;pinyi原创 2022-01-02 16:49:34 · 7087 阅读 · 0 评论 -
Elasticsearch 7.X Ik源码解读,及自定义远程动态词库
一、ik 远程词库上篇文章对ik进行了整体的讲解,包括远程动态词库的讲解,但是上篇文章中是基于nginx+静态txt文件实现的,利用nginx 对文件修改后自动添加Last-Modified 的属性,这种方式也是官方推荐的方式:官方推荐使用另一个工具更新这个.txt文件,既然我们都写另一个工具了,不如将词典也由另一个工具来提供,将数据存放在数据库中岂不更好管理。下面我们就可以来事件以下,对ik不了解的可以参考我的上篇文章:https://blog.csdn.net/qq_43692950/art原创 2022-01-02 15:53:20 · 5651 阅读 · 7 评论 -
Elasticsearch 7.X 中文分词器 ik 使用,及词库的动态扩展
一、ik中文分词器上篇文章我们学习了ES集群分片和水平扩容,前面再使用的时候应该就会发现,在做match 匹配时,默认会进行分词,但当查询内容是中文时,分词效果是一个字被认定了一个词,这显然不符合我们对中文分词的效果,因此本篇我们讲解下ES中中文分词器ik 的使用。上篇文章地址:https://blog.csdn.net/qq_43692950/article/details/122246286ik是基于java开发的轻量级的中文分词工具包。它是以开源项目Luence为主体的,结合词典分词和文法分原创 2022-01-02 13:00:13 · 10860 阅读 · 3 评论 -
Elasticsearch 7.X 集群分片 及 水平扩容 讲解
一、ES 中的分片上篇文章我们讲解了ES 7.X 的集群环境搭建,本篇主要讲解下ES的分片和扩容。上篇文章地址:https://blog.csdn.net/qq_43692950/article/details/122244793一个索引可以存储超出单个节点硬件限制的大量数据。比如,一个具有 10 亿文档数据的索引占据 1TB 的磁盘空间,而任一节点都可能没有这样大的磁盘空间。或者单个节点处理搜索请求,响应太慢。为了解决这个问题,Elasticsearch 提供了将索引划分成多份的能力,每一份就称原创 2021-12-30 22:48:19 · 6715 阅读 · 0 评论 -
Elasticsearch 7.X 集群环境搭建
一、Elasticsearch上篇文章我们介绍了ES通过Restful的方式进行操作数据,本篇文章一起学习下ES 7.X 的集群环境的搭建,在生产环境中不可能ES以单节点的方式进行使用,即有可能出现单点故障问题。上篇文章地址:https://blog.csdn.net/qq_43692950/article/details/122223494在开始搭建之前先了解几个名词:集群名称一个集群就是由一个或多个服务器节点组织在一起,共同持有整个的数据,并一起提供索引和搜索功能。一个 Elasticse原创 2021-12-30 21:31:09 · 4590 阅读 · 1 评论 -
Elasticsearch 7.X RESTful 风格 高级查询
一、Elasticsearch上篇文章中我们简单介绍了ES,并介绍了索引、文档、映射的操作,今天我们学习下复杂的高级查询。上篇文章地址:https://blog.csdn.net/qq_43692950/article/details/122222522本篇还是使用PostMan进行测试。还是基于上篇文章中创建的user索引。二、RESTful 风格 高级查询1. 查询所有文档向 ES 服务器发 GET 请求 :http://127.0.0.1:9200/user/_search2原创 2021-12-29 20:39:36 · 4481 阅读 · 0 评论 -
Elasticsearch 7.X RESTful 风格 索引、文档、映射操作
一、ElasticsearchElasticsearch (ES)是一个基于Lucene构建的开源、分布式、RESTful 接口全文搜索引擎。Elasticsearch 还是一个分布式文档数据库,其中每个字段均是被索引的数据且可被搜索,它能够扩展至数以百计的服务器存储以及处理PB级的数据。它可以在很短的时间内在储、搜索和分析大量的数据。它通常作为具有复杂搜索场景情况下的核心发动机。Elasticsearch就是为高可用和可扩展而生的。可以通过购置性能更强的服务器来完成。在本专栏的前几篇文章中我们介绍过原创 2021-12-29 19:52:11 · 4941 阅读 · 0 评论 -
ELK分布式日志收集系统
ELK分布式日志收集系统一、传统系统日志收集的问题在传统项目中,如果在生产环境中,有多台不同的服务器集群,如果生产环境需要通过日志定位项目的Bug的话,需要在每台节点上使用传统的命令方式查询,这样效率非常底下。通常,日志被分散在储存不同的设备上。如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理,例如:开源的syslog,将所有服务器上的日志收集汇总。集中化管理日志后,日志的统计和检索又成为一件比较麻烦的事情,一原创 2020-07-31 15:25:15 · 3805 阅读 · 1 评论 -
CenterOS 下Elasticsearch环境及集群搭建
CenterOS下配置Elasticsearch环境及集群搭建先去官网,下载Linux环境下的 Elasticsearch包。https://www.elastic.co/downloads/elasticsearchlinux安装内存建议1g内存以上。这里我用的Elasticsearch版本为elasticsearch-6.4.3。一、搭建环境上传elasticsearch安装包到centerosscp G:\Optimize\Util\elasticserch\elasticsea原创 2020-07-30 14:37:51 · 1828 阅读 · 1 评论 -
SpringBoot 使用 Elasticsearch搜索引擎
Elasticsearch介绍Elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性,能使数据在生产环境变得更有价值。Elasticsearch 的实现原理主要分为以下几个步骤,首先用户将数据提交到Elasticsearch 数据库中,再通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据,当用户搜索数据时候,再根据权重将结果排名,打分,再将返回结果呈现给用户。Elast原创 2020-07-19 12:13:04 · 3393 阅读 · 2 评论