elk(elasticsearch、logstash、kibana)之elasticsearch

已于 2022-07-07 10:09:34 修改
阅读量282 收藏
点赞数
分类专栏： elasticsearch 文章标签： elasticsearch elk 搜索引擎
于 2022-07-06 20:51:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/M1275601161/article/details/124448800
版权

学习文档地址：链接：https://pan.baidu.com/s/10XaK3KImGWEX8vSx_vm2Aw
提取码：3452

git地址：

这里是引用

一、elasticsearch入门

集群间的端口号是9300；
页面上的端口号是9200

二、elasticsearch基本操作

1、elasticsearch与mysql的区别

在这里插入图片描述
注意：elasticsearch7后面的已经没有type的概念，默认一个index下面一个type.

2、elasticsearch的查询原理：倒排索引（*********）

一般mysql查询的时候，先查询 索引再查询这一行数据。
但是到了elasticsearch之后，跟mysql反过来，先查询关键字，定位到索引，再查询一行数据
在这里插入图片描述

3、创建索引

在这里插入图片描述
注意：put请求

{ “acknowledged”【响应结果】: true, #true操作成功
“shards_acknowledged”【分片结果】: true, # 分片操作成功
“index”【索引名称】: “shopping”
}
注意：创建索引库的分片数默认1片，在7.0.0之前的Elasticsearch版本中，默认5片

4、查看所有索引

在这里插入图片描述
表头及其含义：
在这里插入图片描述

5、查看索引的具体信息

在这里插入图片描述
返回数据的具体含义：
在这里插入图片描述

6、删除索引

将上面查询/查看索引的方法的请求方式，改成delete就可以了

7、插入文档（不给id，使用es自动生成的id）

在这里插入图片描述
返回数据详细描述：
在这里插入图片描述

8、插入文档（给id）

在这里插入图片描述

9、查询文档

在这里插入图片描述
返回值的解释：
在这里插入图片描述

10、修改文档

将插入文档的请求方式改成post，然后body里面的数据改变就行

11、修改字段 修改数据时，也可以只修改某一给条数据的局部信息

在这里插入图片描述

12、删除文档

http://127.0.0.1:9200/shopping/_doc/1 将会删除id为1的数据

再一次的删除不存在的文档，则会增加版本，result返回错误信息
在这里插入图片描述

13、条件删除文档

在这里插入图片描述

总结： 一个index强制的话只能有一个type（es7之后这个type可能没有，可能有）

14、设置mapping—es数据结构（mapping相当于mysql中的表结构）

在这里插入图片描述

15、maping中的type类型

在这里插入图片描述
在这里插入图片描述
注意：如果没有索引，则不能用来搜索

16、match查询文档（有条件 ）

在这里插入图片描述
注意：
在这里插入图片描述
查询的条件：我是祖国，查询的时候会将我是祖国分成 我是 + 祖国

17、match查询所有文档（无条件）

在这里插入图片描述
返回数据解释：
在这里插入图片描述

18、multi_match多条件匹配（注意：多个条件对应的字段都要有索引）

在这里插入图片描述

19、term关键字精确查询（字段类型为keyword）

在这里插入图片描述

20、把需要查看的字段显示出来（includes、excludes）

在这里插入图片描述
总结：查询条件肯定要有，相当于mysql中where后面的查询语句；include相当于select后面查询的字段

21、组合查询（must（=）、must_not（！=） 、 should（or或者什么都没有都可以））

*** 注意：当should跟must/filter（其他条件查询）进行联合使用的时候，那么should就会失效

在这里插入图片描述

22、范围查询（range）

在这里插入图片描述

23、模糊查询（可以通过查询语句，自动转成其他的查询语句）

在这里插入图片描述

24、单字段排序（sort）

在这里插入图片描述

25、多字段查询（多个sort）

在这里插入图片描述

26、高亮查询（highlight）

在这里插入图片描述

27、分页查询（from、size）

在这里插入图片描述

28、聚合查询（未记录）

三、java操作es（elasticsearch-rest-high-level-client）

1、索引（index）的增/删/查

 // 创建客户端对象
        RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(new HttpHost("localhost", 9200, "http")));
        // 创建一个索引
//        CreateIndexRequest createIndexRequest = new CreateIndexRequest("user");
//        CreateIndexResponse createIndexResponse = client.indices().create(createIndexRequest, RequestOptions.DEFAULT);
//        System.out.println("响应状态：" + createIndexResponse.isAcknowledged());

        // 查看索引
//        GetIndexRequest getIndexRequest = new GetIndexRequest("user");
//        GetIndexResponse getIndexResponse = client.indices().get(getIndexRequest, RequestOptions.DEFAULT);
//        System.out.println("查看的索引结构为：" + getIndexResponse.toString());

        // 删除索引
        DeleteIndexRequest deleteIndexRequest = new DeleteIndexRequest("user2");
        AcknowledgedResponse delete = client.indices().delete(deleteIndexRequest, RequestOptions.DEFAULT);
        System.out.println("删除索引是否成功：" + delete.isAcknowledged());

        // 关闭客户端连接
        client.close();

2、文档（document）的增/删/改/查(根据id)/批量增/批量删

        // *** 1、文档添加
//        RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(new HttpHost("localhost", 9200, "http")));
//        // 新增文档-请求对象
//        IndexRequest request = new IndexRequest();
//        // 设置索引及唯一性标识
//        request.index("user").id("1001");
//        // 创建数据对象
//        User user = new User();
//        user.setName("zhangsan");
//        user.setAge(30);
//        user.setSex("男");
//        request.source(JSONUtil.parseObj(user));
//        IndexResponse index = client.index(request, RequestOptions.DEFAULT);
//        System.out.println("添加文档：" + JSONUtil.toJsonStr(index));
        // 关闭客户端连接
//        client.close();

        // *** 2、文档修改  局部更新
//        RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(new HttpHost("localhost", 9200, "http")));
//        UpdateRequest updateRequest = new UpdateRequest();
//        updateRequest.index("user").id("1001");
//        User user = new User();
//        user.setName("bear更新测试");
//        updateRequest.doc(JSONUtil.parseObj(user));
//        UpdateResponse update = client.update(updateRequest, RequestOptions.DEFAULT);
//        System.out.println("更新文档：" + JSONUtil.toJsonStr(update));
        // 关闭客户端连接
//        client.close();

        // *** 3、查询文档 根据id
//        RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(new HttpHost("localhost", 9200, "http")));
//        GetRequest getRequest = new GetRequest();
//        getRequest.index("user").id("1001");
//        GetResponse documentFields = client.get(getRequest, RequestOptions.DEFAULT);
//        System.out.println("查询文档：" + JSONUtil.toJsonStr(documentFields));
//        client.close();

        // *** 4、删除文档 根据id
//        RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(new HttpHost("localhost", 9200, "http")));
//        DeleteRequest deleteRequest = new DeleteRequest();
//        deleteRequest.index("user").id("1001");
//        DeleteResponse delete = client.delete(deleteRequest, RequestOptions.DEFAULT);
//        System.out.println("删除文档：" + JSONUtil.toJsonStr(delete.status()));
//        client.close();

        // *** 5、批量文档操作
//        RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(new HttpHost("localhost", 9200, "http")));
//        BulkRequest bulkRequest = new BulkRequest();
//        User user = new User();
//        user.setName("北极熊测试1");
//        user.setAge(12);
//        user.setSex("男");
//        // 添加的第一个
//        IndexRequest request = new IndexRequest().index("user").id("1001").source(JSONUtil.parseObj(user));
//        bulkRequest.add(request);
//        // 添加的第二个
//        IndexRequest request2 = new IndexRequest().index("user").id("1002").source(JSONUtil.parseObj(user));
//        bulkRequest.add(request2);
//        // 添加的第三个
//        IndexRequest request3 = new IndexRequest().index("user").id("1003").source(JSONUtil.parseObj(user));
//        bulkRequest.add(request3);
//        BulkResponse bulk = client.bulk(bulkRequest, RequestOptions.DEFAULT);
//        System.out.println("批量增加：" + JSONUtil.toJsonStr(bulk));
//        client.close();

        // *** 6、批量删除
        RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(new HttpHost("localhost", 9200, "http")));
        BulkRequest bulkRequest = new BulkRequest();

        bulkRequest.add(new DeleteRequest().index("user").id("1001"));
        bulkRequest.add(new DeleteRequest().index("user").id("1002"));

        // -------------------批量增加/删除/更改都是用的这个方法
        BulkResponse bulk = client.bulk(bulkRequest, RequestOptions.DEFAULT);
        System.out.println("批量删除：" + JSONUtil.toJsonStr(bulk));
        client.close();

3、高级查询（index、doucment）

3.1 高级查询：查询所有索引数据
 // *** 高级查询：查询所有索引数据
//        RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(new HttpHost("localhost", 9200, "http")));
//        SearchRequest request = new SearchRequest();
//        // 添加索引
//        request.indices("student");
//        // 高级查询的操作
//        SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
//        // 查询所有数据
//        sourceBuilder.query(QueryBuilders.matchAllQuery());
//        request.source(sourceBuilder);
//        SearchResponse search = client.search(request, RequestOptions.DEFAULT);
//        System.out.println("高级查询：" + JSONUtil.toJsonStr(search));
//        //{"shardFailures":[],"successfulShards":1,"totalShards":1,"internalResponse":{"numReducePhases":1},"skippedShards":0,"clusters":{"skipped":0,"total":0,"successful":0}}
//        // 包含文档信息s
//        SearchHits hits = search.getHits();
//        for (SearchHit hit : hits) {
//            //输出每条查询的结果信息
//            System.out.println(hit.getSourceAsString());
//        }
3.2 term 精准查询
//        RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(new HttpHost("localhost", 9200, "http")));
//        SearchRequest request = new SearchRequest();
//        // 添加索引
//        request.indices("student");
//        // 高级查询的操作
//        SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
//        // 查询所有数据
//        sourceBuilder.query(QueryBuilders.termQuery("name", "jarry"));      // 字段没有索引则不能查询
//        request.source(sourceBuilder);
//        SearchResponse search = client.search(request, RequestOptions.DEFAULT);
//        System.out.println("高级查询：" + JSONUtil.toJsonStr(search));
//        //{"shardFailures":[],"successfulShards":1,"totalShards":1,"internalResponse":{"numReducePhases":1},"skippedShards":0,"clusters":{"skipped":0,"total":0,"successful":0}}
//        // 包含文档信息
//        SearchHits hits = search.getHits();
//        for (SearchHit hit : hits) {
//            //输出每条查询的结果信息
//            System.out.println(hit.getSourceAsString());
//        }
3.3 *** 特定字段查询+ bool操作（must =、mustNot !=、should or）+ range范围查询+ 模糊查询 + 高亮显示 + + 聚合 + 分组 + 排序+分页查询 ：查询所有再分页查询
// ****** 特定字段查询+ bool操作（must =、mustNot !=、should or）+ range范围查询+ 模糊查询 + 高亮显示 + + 聚合 + 分组 + 排序+分页查询 ：查询所有再分页查询
        RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(new HttpHost("localhost", 9200, "http")));
        SearchRequest request = new SearchRequest();
        //*** 添加索引
        request.indices("student3");

        //*** 高级查询的操作
        SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();

        //*** 查询所有数据 (无条件)
        sourceBuilder.query(QueryBuilders.matchAllQuery());

        // *** bool操作(有条件)（must，mustNot，should）
//        BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery();

        //*** 范围查询
//        RangeQueryBuilder rangeQuery = QueryBuilders.rangeQuery("age");
//        rangeQuery.gte(13);
//        rangeQuery.lte(40);
//        sourceBuilder.query(rangeQuery);

        //*** must 肯定包含     =
//        boolQueryBuilder.must(QueryBuilders.matchQuery("age", 30));
//        sourceBuilder.query(boolQueryBuilder);

        // *** mustNot 不包含    ！=
//        boolQueryBuilder.mustNot(QueryBuilders.matchQuery("sex", "女的"));
//        sourceBuilder.query(boolQueryBuilder);

        // *** should 可能包含   or 或者什么都没有（当有must或者filter条件查询的时候，这里就是什么都没有的意思；案例；因为上面存在range，所以这里不生效）
//        boolQueryBuilder.should(QueryBuilders.matchQuery("age", 12));
//        boolQueryBuilder.should(QueryBuilders.matchQuery("age", 30));
//        sourceBuilder.query(boolQueryBuilder);

        //*** 模糊查询 （分词查询）
//        sourceBuilder.query(QueryBuilders.fuzzyQuery("name","海飞").fuzziness(Fuzziness.ONE));

        //*** 高亮查询   将查询出来的数据高亮显示
        //构建高亮字段
//        HighlightBuilder highlightBuilder = new HighlightBuilder();
//        highlightBuilder.preTags("<font color='red'>");//设置标签前缀
//        highlightBuilder.postTags("</font>");//设置标签后缀
//        highlightBuilder.field("name");//设置高亮字段
//        //设置高亮构建对象
//        sourceBuilder.highlighter(highlightBuilder);

        //*** 聚合查询
//        sourceBuilder.aggregation(AggregationBuilders.max("maxAge").field("age"));

        //*** 分组统计
        sourceBuilder.aggregation(AggregationBuilders.terms("age_groupby").field("age"));


        //*** 包含和不包含
//        String[] excludes = {};
//        String[] includes = {"name", "age"};
//        sourceBuilder.fetchSource(includes, excludes);  // 查询出特定的字段
//        sourceBuilder.sort("age", SortOrder.DESC);  // 排序


        //*** 分页查询
//        sourceBuilder.from(0);    // 开始页数，从0开始
//        sourceBuilder.size(2);    // 每页数量
        request.source(sourceBuilder);
        SearchResponse search = client.search(request, RequestOptions.DEFAULT);
        System.out.println("高级查询：" + JSONUtil.toJsonStr(search));
        //{"shardFailures":[],"successfulShards":1,"totalShards":1,"internalResponse":{"numReducePhases":1},"skippedShards":0,"clusters":{"skipped":0,"total":0,"successful":0}}
        // 包含文档信息
        SearchHits hits = search.getHits();
        for (SearchHit hit : hits) {
            //输出每条查询的结果信息
            System.out.println(hit.getSourceAsString());
            // 打印高亮结果
            Map<String, HighlightField> highlightFields = hit.getHighlightFields();
            System.out.println(highlightFields);
        }
        System.out.println("<<::::");

        client.close();

四、搭建es集群（windows）

复制es三份，每一份是一个node（节点），修改他们的config/elasticsearch.yml文件
第一个节点node1节点：
在这里插入图片描述
第二个节点：
在这里插入图片描述
第三个节点：
在这里插入图片描述
配置完成之后，启动3个节点服务器，就可以发现他们的数据时可以共享的

开始es高级应用

五、分片（为啥需要分片）、副本介绍

为啥需要分片：

  • 允许你水平分割/扩展你的内容容量。
  • 允许你在分片之上进行分布式的、并行的操作，进而提高性能/吞吐量。

副本：

  • 防止节点失败（副本和复制它的分片不在同一个节点上）
  • 扩展你的搜索量/吞吐量，因为搜索可以在所有的副本上并行运行。

六、分词器

1、加入ik分词器，注意点1：要跟es的版本保持一致2：将ik分词器放在一个文件夹中，再将文件夹放入es的plugs中

2、ik_max_word和ik_smart显示效果

在这里插入图片描述
注意：

  • ik_max_word：会将文本做最细粒度的拆分
  • ik_smart：会将文本做最粗粒度的拆分

3、ik中加入额外的dic文件（控制分词）

在这里插入图片描述

4、设置索引中类型为text的分词器为ik：

在这里插入图片描述
注意：查询的时候也使用ik分词器即可

进击的北极熊
关注
专栏目录
ELK合集(一):Elasticsearch概述 持续更新
专注大数据与自由
03-17 319
Elastic Inc - 上市公司 市场反应 2010年 第一次发布 2012年成立公司 成立6个月 160万次下载 首轮募到1000万美金风险投资 当前市值超过50亿美金 开盘当天涨幅94% 发展 2015.3月 收购Elastic Cloud 提供Cloud服务 2015.3月 收购PacketBeat 2016.9月 收购PreAlert - Machine Learning异常检测...
es根据字段长度过滤_ES Aggs根据聚合的结果（数值）进行过滤
weixin_28862501的博客
12-30 1417
前言我们在使用聚合时总是有各种各样的聚合需求，其中一个比较常用的就是根据聚合的结果过滤聚合的桶，例如：1、每个IP登录次数超过5次的IP；2、每个IP登录人数超过2的IP。还有我之前的一个案例，访问量超过1000的人数，这些都是很常见的统计需求。案例需求我们在使用聚合计算的时候一般都有两类，一种是计算文档的数量，另一种是计算文档内字段的值的数量(去重计算)或者值的数学计算。两种聚合计算在过滤的时候...
部署 logstash和 elasticsearch 笔记
silyvin
12-30 1111
（一）安装logstash http://blog.csdn.net/napoay/article/details/53276758 $ tar -zxvf logstash-2.4.0.tar.gz 启动logstash: $ cd logstash-2.4.0 $ ./bin/logstash -e 'input { stdin { } } output {
Elasticsearch查询介绍
sichixi8218的博客
03-11 323
Elasticsearch支持很多查询方式，其中一种就是DSL，它是把请求写在JSON里面，然后进行相关的查询。 Query DSL又叫查询表达式，是一种非常灵活又富有表现力的查询语言，采用JSON接口的方式实现丰富的查询，并使查询语句更灵活、更精确、更易读且易调试。 Elasticsearch中的数据检索分为两种：查询上下文(Query Context) 和过滤上下文(Filter Context)。 Query查询会对检索结果进行评分，注重的点是匹配程度，计算的是查询与文档的相关程度，计算完成之后
ElasticSearch搜索-Search API
zc0565的博客
03-19 187
Search API es 提供了两种搜索方式：字符串查询（Query String Syntax）搜索 和 DSL 查询 Query String Syntax Query string 搜索通过命令非常方便地进行临时性地即席搜索，但它有自身的局限性 使用 q 指定查询字符串 Query String Syntax：K/V 键值对 示例如下： GET http://localhost:920...
用于批量启动elasticsearch、logstash、kibana的批处理脚本
08-15
用于批量启动elasticsearch、logstash、kibana的批处理脚本
Elasticsearch Logstash Kibana
路人甲的博客
01-19 3030
一、ELK介绍： ELK是由Elasticsearch Logstash Kibana三大组件构成的一个基于web页面的数据分析工具。 二、组件结构： Elasticsearch：是一个开源分布式时实分析搜索引擎，建立在全文搜索引擎库Apache Lucene基础上，同时隐藏了Apache Lucene的复杂性。Elasticsearch将所有的功能打包成一个独立的动画片，索引副本机制，RESTful风格接口，多数据源。自动搜索等特点。 Logstash ：是一个完全开源的工具，主要用于数据收集，同时可以对
大数据搜索与日志挖掘及可视化方案——ELK Stack：Elasticsearch Logstash Kibana（第2版）
12-03
大数据搜索与日志挖掘及可视化方案——ELK Stack：Elasticsearch Logstash Kibana（第2版）
大数据搜索与日志挖掘及可视化方案 ELK Stack Elasticsearch Logstash Kibana 第2版
04-24
《大数据搜索与日志挖掘及可视化方案：ELK Stack（Elasticsearch, Logstash, Kibana）第二版》 在大数据领域，有效地管理和分析海量数据是至关重要的。ELK Stack，即Elasticsearch、Logstash和Kibana的组合，提供了...
ELK学习笔记.docx elasticsearch logstash kibana 环境搭建开发
02-03
- **修改elasticsearch配置**：编辑`/etc/elasticsearch/elasticsearch.yml`文件，修改`network.host`参数。 - **启动elasticsearch**：`systemctl start elasticsearch`。 - **添加到开机自启动**：`systemctl ...
Elasticsearch Query DSL查询入门
weixin_33962621的博客
05-16 462
本篇为学习DSL时做的笔记，适合ES新手，大佬请略过~ Query DSL又叫查询表达式，是一种非常灵活又富有表现力的查询语言，采用JSON接口的方式实现丰富的查询，并使你的查询语句更灵活、更精确、更易读且易调试 查询与过滤 Elasticsearch（以下简称ES）中的数据检索分为两种情况：查询和过滤。 Query查询会对检索结果进行评分，注重的点是匹配程度，例如检索“运维咖啡吧”与文档的标...
【ELK 学习】ElasticSearch
⛄
01-12 652
ELK：ElasticSearch存储，Logstash收集，Kibana展示版本较多，使用时需要版本匹配，还需要和mysql版本匹配（elastic官网给了版本对应关系）本次使用的版本es6.8.12filebeat 轻量级的数据收集工具ElasticSearch为文档搜索产生的分布式文档搜索，lucene单线程搜索的组合ElasticSearch也支持python。
elk（Elasticsearch、Kibana、Logstash ）有这篇就够了，超级详细，包教会
Baldprogrammer的博客
08-06 1万+
1、elk介绍 elastic中文官网： https://www.elastic.co/cn Elasticsearch 是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。Elasticsearch用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。官方客户端在Java、.NET（C#）...
Elasticsearch系列(五)----JAVA客户端之TransportClient操作详解
热门推荐
fendo
09-05 5万+
Elasticsearch JAVA操作有三种客户端: 1、TransportClient 2、JestClient 3、RestClient 还有种是2.3中有的NodeClient,在5.5.1中好像没有了。这里先以TransportClient来讲解CRUD，详细代码如下: package com.fendo.temp; import java.io.Bu
es 查询语句提升权重 - boost 关键词的使用
JineD的博客
10-15 2万+
其他阅读：https://www.elastic.co/guide/cn/elasticsearch/guide/current/query-time-boosting.html 查询时权重提升 https://www.elastic.co/guide/cn/elasticsearch/guide/current/function-score-filters.html过滤集提升权重 当然bool查询不仅限于组合简单的单个词match查询，它可以组合任意其...
ELK 聚合查询
daicooper的博客
04-16 1011
POST /lib4/items/_bulk {"index":{"_id":1}} {"price":40,"itemID":"ID100123","qty":50} {"index":{"_id":2}} {"price":50,"itemID":"ID100124","qty":50} {"index":{"_id":3}} {"price":25,"itemID":"ID100124","...
Java操作Elasticsearch6实现group by分组查询
Dream it Possible
11-18 7899
引言 通过上篇博客的总结，我们知道了在Elasticsearch6中count、distinct和count(distinct)方法的使用。本篇博客继续聚合查询的学习，也就是对应mysql中的group by的使用。 公共实体 对于下面要介绍的查询，返回结果为统一实体，代码如下： /** * 单个字段分组返回结果 * * @author : huzhiting * @date : 2020-11-18 15:02 */ @Data public class AggregationForOneDTO
Elasticsearch JAVA api轻松搞定groupBy聚合
tiansheng1225的博客
09-06 1617
本文给出如何使用Elasticsearch的Java API做类似SQL的group by聚合。 为了简单起见，只给出一级groupby即group by field1(而不涉及到多级，例如group by field1, field2, ...)；如果你需要多级的groupby，在实现上可能需要拆分的更加细致。   即将给出的方法，适用于如下的场景： 场景1：找出分组中的所有桶，例如，s...
大数据实战之Logstash采集->Kafka->ElasticSearch检索
Supernova的博客
06-22 1万+
1. Logstash概述 　　Logstash的官网地址为：https://www.elastic.co/cn/products/logstash，以下是官方对Logstash的描述。　　Logstash是与Flume类似，也是一种数据采集工具，区别在于组件和特性两大方面。常用的数据采集工具有Sqoop、Flume、Logstash，计划将单独写一篇博文论述它们之间的区别，所以这里就不赘述，感兴...
elastic search logstash kibana
最新发布
04-17
Elasticsearch, Logstash, 和 Kibana 是一套常用的开源工具组合，被称为ELK Stack，用于处理和可视化大规模数据集。下面是对它们的简要介绍： 1. Elasticsearch（简称ES）是一个分布式、高性能的搜索和分析引擎。它基于Apache Lucene搜索引擎库构建，提供了强大的全文搜索、实时分析和数据可视化功能。ES使用倒排索引来加速搜索，并支持水平扩展以处理大规模数据。 2. Logstash 是一个用于收集、处理和转发日志和事件数据的工具。它可以从各种来源（如文件、数据库、消息队列等）收集数据，并对数据进行过滤、转换和增强，然后将其发送到目标位置（如Elasticsearch、文件、消息队列等）。Logstash支持多种输入和输出插件，可以与各种数据源和目标进行集成。 3. Kibana 是一个用于可视化和分析数据的开源工具。它提供了一个直观的Web界面，可以通过图表、表格、地图等方式展示Elasticsearch中的数据。Kibana支持实时查询和过滤数据，还可以创建仪表盘和报表来监控和分析数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值