ElasticStack
文章平均质量分 85
融极
未来像盛夏的大雨,来不及撑伞就已经倾盆而下。
展开
-
ElasticSearch常用命令总结
elasticsearch原创 2023-03-02 18:27:48 · 235 阅读 · 0 评论 -
ES分词器
elastic search原创 2022-12-10 18:07:48 · 530 阅读 · 0 评论 -
ElasticSearch-Query DSL(Domain Specific Language)
elasticsearch原创 2022-11-20 22:27:24 · 1213 阅读 · 0 评论 -
ElasticSearch-Mapping详解
elastic原创 2022-11-19 12:15:58 · 1723 阅读 · 0 评论 -
Kibana日志查询总结
kibana日志查询总结原创 2022-07-14 15:14:22 · 4321 阅读 · 0 评论 -
Logstash输入与输出插件(十三)
概述Logstash管道可以配置多个输入插件,这可以将不同源头的数据整合起来做统一处理。在分布式系统中,数据都分散在不同的容器或不同的物理机上,每一份数据往往又不完整,需要类似Logstash这样的工具将数据收集起来。比如在微服务环境下,日志文件就分散在不同机器上,即使是单个请求的日志也有可能分散在多台机器上。如果不将日志收集起来,就无法查看一个业务处理的完整日志。Logstash管道也可以配置多个输出插件,每个输出插件代表一种对数据处理的业务需求。比如对日志数据存档就可以使用s3输出插件,将日志数据归原创 2022-05-09 22:13:46 · 873 阅读 · 0 评论 -
Logstash结构与配置(十二)
概述Logstash是一个类似实时流水线的开源数据传输引擎,它像一个两头连接不同数据源的数据传输管道,将数据实时地从一个数据源传输到另一个数据源中。在数据传输的过程中,Logstash还可以对数据进行清洗、加工和整理,使数据在到达目的地时直接可用或接近可用,为更复杂的数据分析、处理以及可视化做准备。既然需要将数据搬运到指定的地点,为什么不在数据产生时,就将数据写到需要的地方呢?这个问题可以从以下几个方面理解。首先,许多数据在产生时并不支持直接写入到除本地文件以外的其他数据源。比如大多数第三方软件在运行中原创 2022-05-04 18:06:51 · 2105 阅读 · 0 评论 -
Elasticsearch处理特殊数据类型(八)
概述Elasticsearch索引字段中定义了一些特殊数据类型,用于反映某些特殊的数据关系或数据表示方法。由于这些数据类型都与一组DSL查询和聚集查询相关联,所以本书在第2章2.3节中并没有介绍它们,而是集中在本章统一介绍。这些特殊数据类型主要包括join类型、nested类型和地理坐标,本章将在8.1~8.3节中分别介绍它们。除了DSL和聚集查询以外,Elasticsearch在Basic授权中还提供了一种基于SQL语法的查询语言,这种查询语言可以以类似SQL语言的形式执行文档检索。由于这种SQL语言原创 2022-05-04 11:38:43 · 791 阅读 · 0 评论 -
Elasticsearch聚集查询(七)
概述聚集查询(Aggregation)提供了针对多条文档的统计运算功能,它不是针对文档本身内容的检索,而是要将它们聚合到一起运算某些方面的特征值。聚集查询与SQL语言中的聚集函数非常像,聚集函数在Elasticsearch中相当于是聚集查询的一种聚集类型。比如在SQL中的avg函数用于求字段平均值,而在Elasticsearch中要实现相同的功能可以使用avg聚集类型。聚集查询也是通过_search接口执行,只是在执行聚集查询时使用的参数是aggregations或aggs。所以_search接口可以执原创 2022-05-03 16:59:43 · 1803 阅读 · 0 评论 -
Elasticsearch相关性评分与组合查询(六)
概述在全文检索中,检索结果与查询条件的相关性是一个极为重要的问题,优秀的全文检索引擎应该将那些与查询条件相关性高的文档排在最前面。想象一下,如果满足查询条件的文档成千上万,让用户在这些文档中再找出自己最满意的那一条,这无异于再做一次人工检索。用户一般很少会有耐心在检索结果中翻到第3页,所以处理好检索结果的相关性对于一个检索引擎来说至关重要。Google公司就是因为发明了Page Rank算法,巧妙地解决了网页检索结果的相关性问题,才在众多搜索公司中迅速崛起。相关性问题有两方面问题要解决,一是如何评价单个原创 2022-05-03 15:12:42 · 1304 阅读 · 0 评论 -
Elasticsearch叶子查询与模糊查询(五)
概述Elasticsearch检索接口_search可通过URI参数q或请求体参数query接收DSL描述的查询条件,其中参数q接收DSL中定义的查询字符串,而query参数则可以接收所有DSL查询条件。按照官方的说法,DSL可以分为叶子查询(Leaf Query Clauses)和组合查询(Compound Query Clauses)两种类型。叶子查询是在指定的字段中匹配查询条件,例如检索名称为tom的文档、年龄在10~20岁之间的文档等等。叶子查询大致上可分为基于词项的查询和基于全文的查询两大类,除原创 2022-05-03 12:13:30 · 1728 阅读 · 0 评论 -
Elasticsearch分析与检索(四)
概述虽然通过文档_id可以获取到文档,但是_id字段一般都是一个无意义的值,在实际应用中更多是使用文档其他有意义字段做检索。Elasticsearch提供了一个专门用于检索的_search接口,这个接口可以根据指定的查询条件检索文档,Elasticsearch强大的检索能力都体现在这个接口的应用上。除了本章介绍的文档检索基于_search接口,之后介绍的聚集查询也是基于这个接口,只是使用的参数及格式不同而已。Elasticsearch可以用于文档检索的接口除了_search以外,还包括_count、_m原创 2022-05-02 09:20:20 · 970 阅读 · 0 评论 -
Elasticsearch索引与文档
概述在Elasticsearch中,索引和文档是REST接口操作的最基本资源。索引一般是以索引名称出现在REST请求操作的资源路径上,而文档则是以文档ID为标识出现在资源路径中。除了这两种资源,映射类型_doc也可以认为是一种资源。但在Elasticsearch 7 废除映射类型的大背景下,_doc已经越来越接近于一种接口名称。与_doc类似的还要_alias、_settings、_update等,它们虽然也会出现在REST请求的路径上,但并不是一种实际的资源。在学习时可以把它们当做是REST操作的一种虚原创 2022-04-25 22:03:24 · 3023 阅读 · 0 评论 -
Elasticsearch原理与实现(二)
概述文档字段原创 2022-04-24 16:36:44 · 1460 阅读 · 0 评论 -
Elasticsearch原理与实现(一)
概述Elastic官方对Elasticsearch的定义是这样的:Elastic is a highly scalable open-source full-text search and analytics engine。可见官方定义中,Elasticsearch被视为一种高度可伸缩的全文检索和分析引擎,这体现了Elasticsearch具有强大的文档检索和分析能力。Elasticsearch底层基于Apache Lucene,而Lucene本身一种早就闻名于世的全文检索引擎和工具包。Elasticse原创 2022-04-21 16:25:19 · 1722 阅读 · 0 评论 -
Logstash入门-Logstash
概述Logstash 是一个功能强大的工具,可与各种部署集成。 它提供了大量插件,可帮助你解析,丰富,转换和缓冲来自各种来源的数据。 如果你的数据需要 Beats 中没有的其他处理,则需要将 Logstash 添加到部署中。简介Logstash是一个数据流引擎它适用于数据流的开源式ETL(Extract-Transform-Load:提取、传输、加载)引擎;在几分钟内建立数据流管道;具有水平可扩展及韧性且具有自适应缓冲;不可知的数据源;具有200多个集成和处理器的插件生态系统;使用Ela原创 2021-12-22 17:34:24 · 222 阅读 · 0 评论 -
SpringBoot整合ES-Elasticsearch
概述本文介绍 Spring Boot 项目中整合 ElasticSearch 并实现 CRUD 操作,包括分页、滚动等功能。参考SpringBoot 整合 ES 实现 CRUD 操作原创 2021-12-21 19:46:16 · 20025 阅读 · 2 评论 -
Elasticsearch文档增删改查-Elasticsearch
概述基于Restful风格基于这种风格是软件操作更简洁、更有层次、更易于实现缓存等。基本Rest命令说明PUT创建文档(指定文档id)url地址:localhost:9200/索引名称/类型名称/文档id描述:创建文档(指定文档id)POST创建文档(随机文档id)url地址:localhost:9200/索引名称/类型名称描述:创建文档(随机文档id)修改文档url地址:localhost:9200/索引名称/文档id/_update描述:修改文档查询所有文档url:原创 2021-12-21 11:28:51 · 1504 阅读 · 0 评论 -
ELK安装-ELK
概述Elasticsearch安装ES部署(无需安装);零配置,开销即用;没有繁琐的安装配置。下载安装wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.16.2-darwin-x86_64.tar.gzwget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.16.2-darwin-x86_64.tar.gz原创 2021-12-20 23:31:46 · 417 阅读 · 0 评论 -
Elasticsearch安装启动问题总结-Elasticsearch
使用root用户启动失败错误日志:warning: usage of JAVA_HOME is deprecated, use ES_JAVA_HOMEFuture versions of Elasticsearch will require Java 11; your Java version from [/usr/java/jdk1.8.0_171/jre] does not meet this requirement. Consider switching to a distribution o原创 2021-12-20 22:30:56 · 2022 阅读 · 0 评论 -
Elasticsearch的索引操作-Elasticsearch
概述ES的增删改查可以通过多种方式实现。可以通过各种插件来实现,比如Head,Kibana,curl等,其实内部都是调用的ES的Restful接口。RESTful接口使用方法RESTful接口URL的格式http://ip:9200///[]说明:index:必须,可以对应Mysql的数据库;type:必须,可以对应Mysql的数据表;id:可选,不提供ES会自动生成;id相当于数据表中记录的主键,是唯一的。Kibana实现CRUDKibana安装索引操作新建索引删除索引DEL原创 2021-12-20 18:06:41 · 898 阅读 · 0 评论 -
Elasticsearch基本知识-Elasticsearch
概述大规模数据如何检索当系统数据量上了10亿、100亿条的时候,我们在做系统架构的时候通常会从以下角度去考虑问题:用什么数据库好?(mysql、sybase、oracle、达梦、神通、mongodb、hbase…)如何解决单独故障?(lvs、F5、A10、Zookeep、MQ)如何保证数据安全性?(热备、冷备、异地多活)如何解决检索难题?(数据库代理中间件:mysql-proxy、Cobar、MaxScale等;)如何解决统计分析问题?(离线、近实时)传统数据库的解决方案对于关系型数据原创 2021-12-20 16:11:36 · 408 阅读 · 0 评论 -
ELK简介与学习路线-ELK
概述人工智能、大数据快速发展的今天,对于 TB 甚至 PB 级大数据的快速检索已然成为刚需。Elasticsearch 作为开源领域的后起之秀,从2010年至今得到飞跃式的发展。 Elasticsearch 以其开源、分布式、RESTFul API 三大优势,已经成为当下风口中“会飞的猪”。ELK认知ELK Stack(ELK技术栈)由最早期的最核心的Elasticsearch(以下部分简称ES)、集合Logstash(日志存储)、Kibana、beats等发展而来,形成ELK Stack体系,如下图原创 2021-12-20 11:37:30 · 2530 阅读 · 0 评论