搜索服务
文章平均质量分 96
0000
天黑请闭眼丶风
这个作者很懒,什么都没留下…
展开
-
Elasticsearch7.17 七 :Logstash与FileBeat详解以及ELK整合
ELK架构分为两种,一种是经典的ELK,另外一种是加上消息队列(Redis或Kafka或RabbitMQ)和Nginx结构。经典的ELK主要是由Filebeat + Logstash + Elasticsearch + Kibana组成,如下图:(早期的ELK只有Logstash + Elasticsearch + Kibana)整合消息队列+Nginx架构:Logstash 是免费且开放的服务器端数据处理管道,能够从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的存储库中。Logstas原创 2022-06-29 18:19:01 · 2917 阅读 · 0 评论 -
Elasticsearch7.17 六 :ES高级功能和数据建模
关系型数据库范式化(Normalize)设计的主要目标是减少不必要的更新,往往会带来一些副作用:反范式化(Denormalize)的设计不使用关联关系,而是在文档中保存冗余的数据拷贝。关系型数据库,一般会考虑Normalize 数据;在Elasticsearch,往往考虑Denormalize 数据。Elasticsearch并不擅长处理关联关系,一般会采用以下四种方法处理关联:案例1: 博客作者信息当我们查询博客信息的同时需要知道作者信息,那么把作者信息当成一个对象放到博客信息当中案例2:包含对象数原创 2022-06-23 20:59:17 · 1068 阅读 · 0 评论 -
Elasticsearch7.17 五 :ES读写原理、分片设计和性能优化
单个分片7.0开始,新创建一个索引时,默认只有一个主分片。单个分片,查询算分,聚合不准的问题都可以得以避免单个索引,单个分片时候,集群无法实现水平扩展。即使增加新的节点,无法实现水平扩展两个分片集群增加一个节点后,Elasticsearch 会自动进行分片的移动,也叫 Shard Rebalancing如何设计分片数当分片数>节点数时,一旦集群中有新的数据节点加入,分片就可以自动进行分配,分片在重新分配时,系统不会有downtime多分片的好处: 一个索引如果分布在不同的节点,多个节点可以并原创 2022-06-23 16:56:26 · 3399 阅读 · 0 评论 -
Elasticsearch7.17 四 : ElasticSearch集群架构
分布式系统的可用性与扩展性:高可用性服务可用性-允许有节点停止服务数据可用性-部分节点丢失,不会丢失数据可扩展性请求量提升/数据的不断增长(将数据分布到所有节点上)ES集群架构的优势:提高系统的可用性,部分节点停止服务,整个集群的服务不受影响存储的水平扩容集群一个集群可以有一个或者多个节点不同的集群通过不同的名字来区分,默认名字“elasticsearch“通过配置文件修改,或者在命令行中 -E cluster.name=es-cluster进行设定’节点节点是一个Elastics原创 2022-06-23 15:19:42 · 2787 阅读 · 0 评论 -
Elasticsearch7.17 三 : ElasticSearch搜索技术深入与聚合查询
搜索的相关性算分,描述了一个文档和查询语句匹配的程度。ES 会对每个匹配查询条件的 结果进行算分_score。打分的本质是排序,需要把最符合用户需求的文档排在前面。ES 5之 前,默认的相关性算分采用TF-IDF,现在采用BM 25。如下例子:显而易见,查询JAVA多线程设计模式,文档id为2,3的文档的算分更高TF-IDFTF-IDF(term frequency–inverse document frequency)是一种用于信息检索与数据挖掘的常用加权技术。对于TF-IDF的算法和公式不做过多解原创 2022-06-22 00:40:16 · 832 阅读 · 0 评论 -
Elasticsearch7.17 二:mapping映射和高级语法查询DSL
Mapping类似数据库中的schema的定义,作用如下:ES中Mapping映射可以分为动态映射和静态映射。动态映射:在关系数据库中,需要事先创建数据库,然后在该数据库下创建数据表,并创建表字段、类 型、长度、主键等,最后才能基于表插入数据。而Elasticsearch中不需要定义Mapping映射(即关系型数据库的表、字段等),。静态映射: 静态映射是在Elasticsearch中也可以事先定义好映射,包含文档的各字段类型、分词器 等,这种方式称之为静态映射新增加字段dynamic设为true原创 2022-06-20 18:35:56 · 1041 阅读 · 0 评论 -
Elasticsearch7.17 一: 快速入门
ElasticSearch(简称ES)是一个分布式、RESTful 风格的搜索和数据分析引擎,是用Java开发并且是当前最流行的开源的企业级搜索引擎,能够达到近实时搜索,稳定,可靠,快速,安装使用方便。客户端支持Java、.NET(C#)、PHP、Python、Ruby等多种语言官方网站: https://www.elastic.co/下载地址:https://www.elastic.co/cn/downloads/past-releases#elasticsearchElasticSearch vs原创 2022-06-16 16:35:54 · 2162 阅读 · 0 评论 -
spingboot 整合es和APi使用
springboot整合Elasticsearch7.8依赖使用springboot2.4版本<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-elasticsearch</artifactId></dependency>配置信息根据springboot自动配置原理,查看elasti原创 2021-07-20 16:32:39 · 581 阅读 · 0 评论 -
Elasticsearch7.8
文章目录Elasticsearch7.8简介数据格式es部署安装Linux单机集群部署核心概念索引(Index)文档(Document)字段(Field)映射(Mapping)分片(Shards)副本(Replicas)分配(Allocation)系统架构分布式集群使用创建分片、副本集群故障水平扩容工作流程和原理路由计算和分片控制写流程读流程更新流程倒排索引文档搜索动态更新索引磁盘写入流程插件IK分词器Kibana优化硬件选择分片策略写入速度优化内存设置重要配置spingboot 整合es和APi使用El原创 2021-07-20 16:33:54 · 857 阅读 · 0 评论