Elasticseach/Logstash/Kibana
文章平均质量分 82
Elasticseach/Logstash/Kibana
涂作权的博客
To do what I want to do!
展开
-
用ChatGPT编写的一个调用ElasticSearch的maven的spring elasticsearch demo案例
创建一个Elasticsearch操作类,用于执行Elasticsearch的操作。/search:从名为“my_index”的索引中搜索匹配“Java”的文档。/createIndex:创建名为“my_index”的索引。/deleteIndex:删除名为“my_index”的索引。/insert:向名为“my_index”的索引插入一条文档。/update:更新名为“my_index”的索引中的文档。/delete:从名为“my_index”的索引中删除文档。创建Elasticsearch操作类。原创 2023-03-16 12:36:28 · 2847 阅读 · 3 评论 -
ElasticSearch中的某个index的状态显示为red的问题、index显示Unassigned Shards
ElasticSearch中的某个index的状态显示为red的问题错误:Unassigned Shards 41.1.1.查看集群状态GET /_cluster/health?pretty结果类似:{ "cluster_name" : "elasticsearch", "status" : "red", "timed_out" : false, "number_of_nodes" : 3, "number_of_data_nodes" : 3, "active_p原创 2021-05-27 16:10:23 · 3419 阅读 · 0 评论 -
ElasticSearch技术文档
Elastic Stack1.安装xxx.xxx.xxx.249 开发xxx.xxx.xxx.254 测试xxx.xxx.xxx.100 预发useradd elasticsearchpasswd elasticsearchinstalling Java version 1.8.0_131 or a later version in the Java 8 release series.vi /home/elasticsearch/ELK/elasticsearch-6.4.0/bin/el原创 2021-05-10 16:25:00 · 1040 阅读 · 0 评论 -
ELK技术实战–了解Elk各组件 ELK技术实战-部署Elk 2.x平台 ELK Stack是软件集合Elasticsearch、Logstash、Kibana的简称,由这三个软件及其相关的组件可
ELK技术实战–了解Elk各组件ELK技术实战-部署Elk 2.x平台ELK Stack是软件集合Elasticsearch、Logstash、Kibana的简称,由这三个软件及其相关的组件可以打造大规模日志实时处理系统。其中,Elasticsearch 是一个基于 Lucene 的、支持全文索引的分布式存储和索引引擎,主要负责将日志索引并存储起来,方便业务方检索查询。Logstash是一个日志收转载 2017-11-19 13:10:02 · 1815 阅读 · 0 评论 -
ES分组聚合:计算每个tag下的商品数量且某个filed包含指定关键字,分组,平均,每个tags下的平均价格,排序,指定范围区间
1、第一个分析需求:计算每个tag下的商品数量GET /ecommerce/product/_search{ "aggs": { "group_by_tags": { "terms": { "field": "tags" } } }}执行之后的结果是:{ "error": { "root_cause": [ { "typ原创 2017-10-21 13:44:24 · 5054 阅读 · 1 评论 -
Elasticsearch中的document数据格式,简单的集群管理,商品的索引的CRUD操作(学习资料记录)
1、Document数据格式面向文档的搜索分析引擎 (1)应用系统的数据结构都是面向对象的,复杂的。 (2)对象数据存储到数据库中,只能拆解开来,变为扁平的多张表,每次查询的时候还得还原回对象格式,相当麻烦。 **(3)**ES是面向文档的,文档中存储的数据结构,与面向对象的数据结构是一样的,基于这种文档数据结构,ES可以提供复杂的索引,全文检索,分析聚合等功能。 **(4)**ES的doc原创 2017-07-31 22:21:31 · 2696 阅读 · 0 评论 -
lucene和elasticsearch的前世今生、elasticsearch的核心概念、elasticsearch核心概念 vs. 数据库核心概念(来自学习资料)
1、Lucene和elasticsearch的前世今生 lucene,最先进、功能最强大的搜索库,直接基于lucene开发,非常复杂,api复杂(实现一些简单的功能,写大量的java代码),需要深入理解原理(各种索引结构) (1)分布式的文档存储引擎。 (2)分布式的搜索引擎如分析引擎。 (3)分布式,支持PB级数据。 开箱即用,优秀的默认参原创 2017-07-20 00:52:27 · 1253 阅读 · 1 评论 -
Elasticsearch的功能,Elasticsearch的适用场景,Elasticsearch的特点(来自学习资料)
1.Elasticsearch的功能(1)分布式的搜索引擎和数据分析引擎 搜索:百度,网站的站内搜索,IT系统的检索 数据分析:电商网站,最近7天牙膏这种商品销量排名前10的商家有哪些;新闻网站,最近1个月访问量排名前3的新闻版块是哪些 特点总结:分布式,搜索,数据分析(2):全文检索,结构化检索,数据分析 全文检索:我想搜索商品名称包含牙膏原创 2017-07-19 16:49:42 · 4113 阅读 · 1 评论 -
Elasticsearch和Hive整合,将hive数据同步到ES中
1 Elasticsearch整合Hive1.1 软件环境Hadoop软件环境Hive软件环境ES软件环境1.2 ES-Hadoop介绍1.2.1 官网https://www.elastic.co/cn/products/hadoop1.2.2 对 Hadoop 数据进行交互分析Hadoop 是出色的批量处理系统,但是要想提供实时结果则颇具挑战。为了实现真正的交互式数据探索,...原创 2019-10-17 10:40:34 · 12494 阅读 · 4 评论 -
ES的多种搜索机制:query string search,query DSL,query filter,full-text search,phrase search,highlight search
1、query string search搜索全部商品:GET /ecommerce/product/_searchtook:耗费了几毫秒 timed_out:是否超时,这里是没有 _shards:数据拆成了5个分片,所以对于搜索请求,会打到所有的primary shard(或者是它的某个replica shard也可以) hits.total:查询结果的数量,3个document hits原创 2017-10-20 23:05:09 · 1583 阅读 · 0 评论 -
安装elasticsearch-analysis-ik中文分词器
1 安装elasticsearch-analysis-ik中文分词器Ik介绍:ik是一款中文的分词插件,支持自定义词库。1.1 下载ik分词器下载地址:https://github.com/medcl/elasticsearch-analysis-ik/releases下载指定版本的分词器(zip版本)1.2 解压ik分词器[es@bigdata1 pl...原创 2018-06-23 12:07:06 · 1805 阅读 · 0 评论 -
ElasticSearch集群安装,Kibana安装,Logstash安装,Logstash-input-plugin-jdbc的配置使用
1.安装elasticsearch参考:https://www.2cto.com/kf/201802/723573.html1.1 三台机器创建es运行的用户Es不能再root用户下启动,需要为es的运行创建用户[root@bigdata1 elasticsearch-6.2.2]# useradd es[root@bigdata1 elasticsearch-6.2.2]...原创 2018-06-23 11:49:39 · 1100 阅读 · 0 评论 -
ElasticSearch安装,ES启动,检查ES是否成功,Kibana下载和安装,Kibana的使用
1、安装JDK,至少1.8.0_73以上版本,java -version关于JDK安装,可以参考:http://blog.csdn.net/tototuzuoquan/article/details/181881092、下载和解压缩Elasticsearch安装包其中Elasticsearch的下载地址是: https://www.elastic.co/downloads 可以下载Elasti原创 2017-07-20 23:54:58 · 29626 阅读 · 1 评论 -
ELK架构设计介绍(转:https://www.cnblogs.com/aresxin/p/8035137.html)
为什么用到ELK:一般我们需要进行日志分析场景:直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中,此方法效率低下,面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理,所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统,将所有节点上的日志统一收集,管理,访问。一般大型系统是一个分布式部署的架构,不同的服务模...转载 2018-06-01 12:38:09 · 4550 阅读 · 3 评论 -
Elasticsearch之核心元数据:_index,_type,_id [学习笔记]
1、通过Kibana添加一条数据:PUT /test_index/test_type/1{ "test_content":"test test"}执行后的效果如下: 获取数据:PUT /test_index/test_type/1{ "test_content":"test test"}显示效果: 结果内容是:{ "_index": ...原创 2018-05-05 13:49:04 · 3315 阅读 · 0 评论 -
ES分布式机制的透明性,垂直扩容和水平扩容,数据rebalance,master节点,节点平等的分布式架构,shard和replica机制(学习)
1、Elasticsearch对复杂分布式机制的透明影藏特性Elasticsearch是一套分布式的系统,分布式是为了应对大数据量影藏了复杂的分布式机制。分片机制(我们可以随随便便就将一些document插入到es集群中去,我们没有care过数据是怎么进行分片的,数据到哪个shard中去)cluster discovery(集群发现机制,集群status从yellow转green的实现里,直接启动了原创 2017-10-21 17:33:00 · 3389 阅读 · 0 评论 -
分布式文档系统-document id的手动指定与自动生成两种方式解析(来自学习笔记:龙果学院ES课程)
1、手动指定document id(1)根据应用情况来说,是否满足手动指定document id的前提: 一般来说,是从某些其他的系统中,导入一些数据到es时,会采取这种方式,就是使用系统中已有数据的唯一标识,作为es中document的id。举个例子,比如说,我们现在在开发一个电商网站,做搜索功能,或者是OA系统,做员工检索功能。这个时候,数据首先会在网站系统或者IT系统内部的数据库中,会...原创 2018-06-03 17:05:39 · 916 阅读 · 0 评论 -
16、分布式文档系统--document的_source元数据以及定制返回结果解析(来自学习资料+自己整理)
1、_source元数据准备一条数据put /test_index/test_type/1{ "test_field1": "test field1", "test_field2": "test field2"}然后获取数据get /test_index/test_type/1显示的结果是:{ "_index": "test_index",原创 2018-06-03 17:22:02 · 326 阅读 · 0 评论 -
17、document的全量替换,document的强制创建,document的删除(来源网络课程中的学习笔记)
1、document的全量替换(1)语法与创建文档是一样的,如果document id不存在,那么就创建;如果document id已经存在,那么就是全量替换操作,替换document的json串内容。 (2)document是不可变的,如果修改document的内容天,第一种方式是全量替换,直接对document重新创建索引,替换里面所有的内容。 (3)es会将老的document标记为...原创 2018-06-03 17:35:58 · 705 阅读 · 0 评论 -
26、ES中使用mget批量查询api(学习笔记,来自课程资料 + 自己整理)
1、批量查询的好处就是一条一条的查询,比如说要查询100条数据,那么就要发送100次网络请求,这个开销还是很大的,如果批量查询的话,查询100条数据,就只要发送1次网络请求,网络请求的性能开销缩减100倍。2、mget的语法(1)传统的一条条的查询的方式,语法如下:GET /test_index/test_type/1GET /test_index/test_type/2(2...原创 2018-06-03 18:05:51 · 3176 阅读 · 0 评论 -
Introduction | Elasticsearch权威指南(中文版) | 好的博文地址|官方资源所在位置
https://es.xiaoleilu.com/170_Relevance/10_Scoring_theory.html原创 2017-05-24 01:21:31 · 1813 阅读 · 0 评论 -
批量查询,mget语法,mget批量查询(来自学习资料,第26节)
1、批量查询的好处就是一条一条的查询,比如说要查询100条数据,那么就要发送100次网络请求,这个开销还是很大的 如果进行批量查询的话,查询100条数据,就只要发送1次网络请求,网络请求的性能开销缩减100倍2、mget的语法(1)一条一条的查询GET /test_index/test_type/1运行的结果是:{ "_index": "test_index"...原创 2018-06-14 00:58:48 · 1029 阅读 · 0 评论 -
ElasticSearch bulk批量增删改语法(来自学习资料 + 自己整理,第27节)
1 bulk语法通过bulk语法,可以将crud所需的不同的操作放在一个语句里面。 先来查找一下看是否有数据:查询命令为如下时:GET /test_index/test_type/1查询的结果是:{ "_index": "test_index", "_type": "test_type", "_id&quo原创 2018-06-15 00:50:27 · 2222 阅读 · 1 评论 -
Elasticsearch概述、ES概念、什么是搜索、全文检索、Elasticsearch功能,什么是distributed document store(来自网络+学习资料)
1.Elasticsearch概述Elasticsearch是一个分布式、高性能、高可用、可伸缩的搜索和分析系统。 以下是来自百度百度的介绍: ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企原创 2017-07-19 15:59:23 · 8683 阅读 · 1 评论