es
文章平均质量分 90
liu1002880404
这个作者很懒,什么都没留下…
展开
-
Elasticsearch集群
基本高可用Elasticsearch集群要达到基本高可用,一般要至少启动3个节点,3个节点互相连接,单个节点包括所有角色,其中任意节点停机集群依然可用。为什么要至少3个节点?因为集群选举算法奇数法则。Elasticserach管理节点职责是管理集群元数据、索引信息、节点信息等,自身不涉及数据存储与查询,资源消耗低;相反数据节点是集群存储与查询的执行节点。管理节点与数据节点分离,各司其职,任意数据节点故障或者全部数据节点故障,集群仍可用;管理节点一般至少启动3个,任意节点停机,集群仍正常运行。Elast原创 2022-03-29 16:11:11 · 3220 阅读 · 0 评论 -
springboot整合elasticsearch
前言从 Elasticsearch 7 开始不推荐使用 TransportClient,并将在 Elasticsearch 8 中将其删除。Spring Data Elasticsearch 也支持 TransportClient,前提是使用的 Elasticsearch 中可用,Spring Data Elasticsearch 从 4.0 版本开始已弃用使用 TransportClient 的类。现在 High Level REST Client 是 Elasticsearch 的默认客户端,它在接受原创 2022-03-28 22:25:12 · 2427 阅读 · 0 评论 -
全文搜索引擎 Elasticsearch详解
文章目录什么是ElasticSearchElasticsearch 的用途是什么?Elasticsearch 的工作原理是什么?Elasticsearch 索引是什么?为何使用 Elasticsearch?什么是ElasticSearchElasticsearch 是一个分布式的免费开源搜索和分析引擎,适用于包括文本、数字、地理空间、结构化和非结构化数据等在内的所有类型的数据。Elasticsearch 在 Apache Lucene 的基础上开发而成,由 Elasticsearch N.V.(即现在的原创 2022-03-28 10:48:36 · 3249 阅读 · 0 评论 -
ES的mapping配置详解
mapping的基本格式{ "mappings":{ "_doc":{ "_all":{ "enabled":false #默认情况,ElasticSarch自动使用_all所有的文档的域都会被加到_all中进行索引。可以使用"_all" : {"enabled":false} 开关禁用它。如果某个域不希望被加到_all中,可以使用"include_in_all":false关闭 },原创 2022-03-25 10:11:32 · 8049 阅读 · 0 评论 -
Elasticsearch 索引设计实战
Elasticsearch 索引设计实战文章目录Elasticsearch 索引设计实战索引设计的重要性PB 级别的大索引如何设计说明大索引的缺陷存储大小限制性能风险PB 级索引设计使用模板统一配置索引使用 Rollver 增量管理索引索引增量更新原理使用 curator 高效清理历史数据如何设计分片数和副本数分片/副本分片和副本实战中设计索引设置多少分片索引设置多少副本索引设计的重要性好的索引设计在整个集群规划中占据举足轻重的作用,索引的设计直接影响集群设计的好坏和复杂度。必须充分结合业务场景的时间原创 2021-07-18 08:51:55 · 691 阅读 · 1 评论 -
ElasticSearch概念介绍(一)ElasticSearch简介
ElasticSearch第一天第一章 ElasticSearch简介1.1 什么是ElasticSearchElaticsearch,简称为es, es是一个开源的高扩展的分布式全文检索引擎,它可以近乎实时的存储、检索数据;本身扩展性很好,可以扩展到上百台服务器,处理PB级别的数据。es也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能,但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性,从而让全文搜索变得简单。1.2 ElasticSea.原创 2020-07-28 23:47:17 · 751 阅读 · 0 评论 -
搜索实现之Elasticsearch 和 solr 的区别
背景:它们都是基于Lucene搜索服务器基础之上开发,一款优秀的,高性能的企业级搜索服务器。【是因为他们都是基于分词技术构建的倒排索引的方式进行查询】开发语言:java语言开发诞生时间:Solr:2004年诞生。Es:2010年诞生。Es更新【功能越强大】区别:当实时建立索引的时候,solr会产生io阻塞,而es则不会,es查询性能要高于solr。 在不断动态添加数据的时候,solr的检索效率会变的低下,而es则没有什么变化。 Solr利用zookeeper进行分布...原创 2020-08-01 23:01:14 · 104 阅读 · 0 评论 -
canal +RocketMQ实现MySQL与redis,ElasticSearch数据同步
canal +RocketMQ实现MySQL与redis,ElasticSearch数据同步1.引言在很多业务情况下,我们都会在系统中引入ElasticSearch搜索引擎作为做全文检索的优化方案,引入redis缓存作为缓存优化查询显示。如果数据库数据发生更新,这时候就需要在业务代码中写一段同步更新ElasticSearch的代码,同步更新缓存的代码。这种数据同步的代码跟业务代码耦合性非常高,并且使得代码的可读性降低,我们能不能把这些数据同步的代码抽出来形成一个独立的模块呢?肯定是可以.原创 2021-06-07 13:27:03 · 1896 阅读 · 3 评论 -
springCloud整合Elasticsearch 之 ES索引存储原理
ES索引存储原理不变性写到磁盘的倒序索引是不变的:自从写到磁盘就再也不变。 这会有很多好处:不需要添加锁。不存在写操作,因此不存在多线程更改数据。提高读性能。一旦索引被内核的文件系统做了Cache,绝大多数的读操作会直接从内存而不需要经过磁盘。提升其他缓存(例如fiter cache)的性能。其他的缓存在该索引的生命周期内保持有效,减少磁盘I/O和计算消耗。当然,索引的不变性也有缺点。如果你想让新修改过的文档可以被搜索到,你必须重新构建整个索引。这在一个index可以容纳的数据量和一个索引可以原创 2021-06-06 14:19:17 · 427 阅读 · 0 评论 -
springCloud整合Elasticsearch 之 Springboot整合ES
引入依赖maven <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-elasticsearch</artifactId> </dependency>原创 2021-06-06 14:02:49 · 3430 阅读 · 2 评论 -
springCloud整合Elasticsearch 之 Elasticsearch api
以下操作基于kibana客户端,数据也是使用kiaba自带添加的数据。1、获得集群的健康情况GET /_cat/health?v2、获取集群所有节点GET /_cat/nodes?v3、获取index 列表GET /_cat/indices?v4、是否设置缓存加锁(ES建议关闭缓存使用)GET _nodes?filter_path=**.mlockall5、创建indexPUT /customer6、创建DocumentPUT /custome/_doc/1?原创 2021-06-06 11:29:06 · 327 阅读 · 0 评论 -
springCloud整合Elasticsearch 之 Elasticsearch配置
配置文件所在的目录路径如下:$ES_HOME/config/elasticsearch.yml。下面介绍一些重要的配置项及其含义。(1)cluster.name: elasticsearch配置elasticsearch的集群名称,默认是elasticsearch。elasticsearch会自动发现在同一网段下的集群名为elasticsearch的主机,如果在同一网段下有多个集群,就可以用这个属性来区分不同的集群。生成环境时建议更改。(2)node.name: “Franz Kafka.原创 2021-06-06 11:11:03 · 1341 阅读 · 0 评论 -
springCloud整合Elasticsearch 之 Elasticsearch解决什么问题,能做什么?
大规模数据如何检索?如:当系统数据量上了10亿、100亿条的时候,我们在做系统架构的时候通常会从以下角度去考虑问题:1)用什么数据库好?(mysql、sybase、oracle、达梦、神通、mongodb、hbase…)2)如何解决单点故障;(lvs、F5、A10、Zookeep、MQ)3)如何保证数据安全性;(热备、冷备、异地多活)4)如何解决检索难题;(数据库代理中间件:mysql-proxy、Cobar、MaxScale等;)5)如何解决统计分析问题;(离线、近实时)(2)...原创 2021-06-06 10:51:16 · 1480 阅读 · 0 评论 -
springCloud整合Elasticsearch 之 es相关概念
ES中有几个基本概念:索引(index)、类型(type)、文档(document)、映射(mapping)等。我们将这几个概念与传统的关系型数据库中的库、表、行、列等概念进行对比,如下表:RDBSES数据库(database) 索引(index)表(table) 类型(type)(ES6.0之后被废弃,es7中完全删除)表结构(schema) 映射(mapping)行(row)文档(document)列(column) 字段(field)索引 反向索引...原创 2021-06-05 07:31:39 · 575 阅读 · 0 评论 -
springCloud整合Elasticsearch 之 Elasticsearch简介
一、什么是Elasticsearch?这是新手碰到的第一个问题!我来概括以下:Elasticsearch是一个NoSql数据库,其搜索引擎基于Lucene构建。Elasticsearch提供了一个分布式的,基于JSON的实时,多租户的全文搜索解决方案。即使上面的定义仅用两句话就结束了,但您还是不会听到很多术语。让我们拆分它们并分别进行探索1 Lucene简而言之,Lucene是一个用Java编写的库。因此,下一个显而易见的问题是它的作用和功能是什么!Lucene是一个搜索库。这意味着,有一些用J原创 2021-06-04 08:36:32 · 1629 阅读 · 0 评论 -
Elasticsearch面试题汇总与解析
1. 什么是Elasticsearch?Elasticsearch 是一个基于 Lucene 的搜索引擎。它提供了具有 HTTP Web 界面和无架构 JSON 文档的分布式,多租户能力的全文搜索引擎。Elasticsearch 是用 Java 开发的,根据 Apache 许可条款作为开源发布。2. ES中的倒排索引是什么?传统的检索方式是通过文章,逐个遍历找到对应关键词的位置。倒排索引,是通过分词策略,形成了词和文章的映射关系表,也称倒排表,这种词典 + 映射表即为倒排索引。其中词典中原创 2020-10-24 14:38:07 · 6776 阅读 · 0 评论 -
整合Elasticsearch实现商品搜索
整合Elasticsearch实现商品搜索本文主要讲解mall整合Elasticsearch的过程,以实现商品信息在Elasticsearch中的导入、查询、修改、删除为例。项目使用框架介绍ElasticsearchElasticsearch 是一个分布式、可扩展、实时的搜索与数据分析引擎。 它能从项目一开始就赋予你的数据以搜索、分析和探索的能力,可用于实现全文搜索和实时数据统计。Elasticsearch的安装和使用下载Elasticsearch6.2.2的zip包,并解压原创 2020-10-21 08:32:44 · 692 阅读 · 0 评论 -
ElasticSearch简单入门介绍
ElasticSearch入门初识ElasticSearchElasticSearch是一个分布式、RESTful风格的搜索和数据分析引擎,在国内简称为ES;使用Java开发的,底层基于Lucene是一种全文检索的搜索库,直接使用使用Lucene还是比较麻烦的,Elasticsearch在Lucene的基础上开发了一个强大的搜索引擎。前面说这么多,对于新手的你,其实还是不知道他是干什么的。简单来说,他就是一个搜索引擎,可以快速存储、搜索和分析海量数据。我们常用的github、Stack O.原创 2020-10-15 08:27:21 · 296 阅读 · 0 评论 -
【Kibana】 可视化和浏览数据
数据探索 可以在数据探索(Discover)页面交互式地探索的数据。可以访问与选定索引模式匹配的每个索引中的每个文档。可以提交搜索请求、过滤搜索结果、查看文档数据。还可以看到与搜索查询匹配的文档数,并获取字段值的统计信息。如果索引模式中配置了时间字段,还可以在这个页面的顶部看到基于时间分布的文档数量柱状图。数据准备 准备一个带时间字段类型的数据索引 建索引: 1 PUT /message 2 { 3 "settings": { 4 "index"原创 2020-10-13 11:51:17 · 1836 阅读 · 0 评论 -
【ElasticSearch(三)】 ElasticSearch集群
集群节点 ELasticsearch的集群是由多个节点组成的,通过cluster.name设置集群名称,并且用于区分其它的集群,每个节点 通过node.name指定节点的名称。 在Elasticsearch中,节点的类型主要有4种: master节点配置文件中node.master属性为true(默认为true),就有资格被选为master节点。 master节点用于控制整个集群的操作。比如创建或删除索引,管理其它非master节点等。 data节点配置文件中nod原创 2020-10-11 10:58:14 · 390 阅读 · 0 评论 -
【ElasticSearch】(二) 全文搜索
全文搜索介绍 全文搜索两个最重要的方面是:相关性(Relevance) 它是评价查询与其结果间的相关程度,并根据这种相关程度对结果排名的一种能力,这 种计算方式可以是TF/IDF方法、地理位置邻近、模糊相似,或其他的某些算法。 分词(Analysis) 它是将文本块转换为有区别的、规范化的token的一个过程,目的是为了创建倒排索引以及 查询倒排索引。数据准备 本例使用ES版本为7.6.1 1、创建索引 1 PUT /user 2 3 { 4 "s...原创 2020-10-11 10:53:14 · 213 阅读 · 0 评论 -
【ElasticSearch】 中文分词器-IK分词器
分词介绍什么是分词 分词就是指将一个文本转化成一系列单词的过程,也叫文本分析,在Elasticsearch中称之为Analysis。 举例:我是中国人-->我/是/中国人分词api 指定分词器进行分词 示例:1 POST /_analyse2 3 {4 "analyzer": "standard",5 "text": "hello world"6 } 效果如下: 在结果中不仅可以看出分词的结果,还返回了该词在文...原创 2020-10-11 10:49:30 · 745 阅读 · 0 评论 -
Elastic Stack简介及es简单操作
如果你没有听说过Elastic Stack,那你一定听说过ELK,实际上ELK是三款软件的简称,分别是Elasticsearch、 Logstash、Kibana组成,在发展的过程中,又有新成员Beats的加入,所以就形成了Elastic Stack。所以说,ELK 是旧的称呼,Elastic Stack是新的名字。全系的Elastic Stack技术栈包括: Elasticsearch Elasticsearch 基于java,是个开源分布式搜索引擎,它的特点有:分布式..原创 2020-10-10 08:42:13 · 1117 阅读 · 1 评论 -
springboot+ELK日志监控系统
springboot+ELK日志监控系统ELK简介ELK是Elasticsearch+Logstash+Kibana简称Elasticsearch 是一个分布式的搜索和分析引擎,可以用于全文检索、结构化检索和分析,并能将这三者结合起来。Elasticsearch 基于 Lucene 开发,现在是使用最广的开源搜索引擎之一。Logstash 简单来说就是一根具备实时数据传输能力的管道,负责将数据信息从管道的输入端传输到管道的输出端,与此同时这根管道还可以让你根据自己的需求在中间加上滤网,L.原创 2020-09-28 17:02:33 · 1144 阅读 · 0 评论 -
elastic产品各个版本下载地址
https://www.elastic.co/cn/downloads/past-releases各个版本下载地址原创 2020-06-05 10:18:03 · 873 阅读 · 0 评论 -
基于lucene的分布式搜索引擎——elasticsearch 分布式架构原理
es分布式架构原理elasticsearch设计的理念就是分布式搜索引擎,底层实现还是基于Lucene的,核心思想是在多态机器上启动多个es进程实例,组成一个es集群。一下是es的几个概念:接近实时 es是一个接近实时的搜索平台,这就意味着,从索引一个文档直到文档能够被搜索到有一个轻微的延迟 集群(cluster) 一个集群有多个节点(服务器)组成,通过所有的节点一起保存你的全部数据并且通过联合索引和搜索功能的节点的集合,每一个集群有一个唯一的名称标识 节点(node) 一个节点就是一个单原创 2020-08-05 18:46:02 · 478 阅读 · 0 评论 -
Elasticsearch介绍及应用
1.Elasticsearch介绍和安装用户访问我们的首页,一般都会直接搜索来寻找自己想要购买的商品。而商品的数量非常多,而且分类繁杂。如果能正确的显示出用户想要的商品,并进行合理的过滤,尽快促成交易,是搜索系统要研究的核心。面对这样复杂的搜索业务和数据量,使用传统数据库搜索就显得力不从心,一般我们都会使用全文检索技术:Elasticsearch。1.1.简介1.1.1.ElasticElastic官网:https://www.elastic.co/cn/Elasti..原创 2020-07-27 08:37:25 · 254 阅读 · 0 评论