搜索引擎-ElasticSearch&ELK
文章平均质量分 76
OkidoGreen
这个作者很懒,什么都没留下…
展开
-
【Elasticsearch教程8】Mapping字段类型之keyword
一、前言其中第1个keyword类型是最常用的类型,后面2个类型出现的比较晚,使用的场景也比较少。转载 2022-10-19 15:10:40 · 2117 阅读 · 1 评论 -
ES High Level Rest Client 超时问题排查及解决
(1048条消息) ES异常:Connection reset by peer_浊酒入清梦的博客-CSDN博客https://blog.csdn.net/m0_37862405/article/details/108324096 ES High Level Rest Client 超时问题排查及解决 - 墨天轮 (modb.pro)https://www.modb.pro/db/388569记一次elasticsearch client的conncection reset 异常 - 小专栏 (xiaozhu转载 2022-06-28 14:04:42 · 3230 阅读 · 0 评论 -
Es7.x使用RestHighLevelClient进行增删改和批量操作
引入依赖 初始化RestHighLevelClient和BulkProcessor对象 增删改操作 3.1 数据准备 3.2 单条数据异步插入 3.3 单条数据同步插入 3.4 批量插入 3.5 更新操作 3.6 带条件的更新语句 3.7 批量更新 3.8 删除操作 3.9 条件删除Java层面操作elasticSearch7.x,为了便于操作,不集成Spring,使用main方法进行调用。1. 引入依赖 <!--解决:java.lang.NoCla转载 2022-01-24 08:57:13 · 7765 阅读 · 2 评论 -
Es7.x使用RestHighLevelClient进行查询操作
数据准备 查询操作 2.1 match查询 2.2 bool查询 2.3 constant_score查询 2.4 matchPhraseQuery搜索 2.5 range范围查询1. 数据准备数据准备:接入方式详见Es7.x使用RestHighLevelClient进行增删改和批量操作PUT test_demoPUT test_demo/_mapping{ "properties":{ "id":{ "type":"long" }, "转载 2022-01-24 08:43:41 · 4043 阅读 · 0 评论 -
es查看集群信息命令_cat和_cluster
官方API地址:https://www.elastic.co/guide/en/elasticsearch/reference/7.7/rest-apis.html查看API查看别名接口(_cat/aliases): 查看索引别名查看分配资源接口(_cat/allocation)查看文档个数接口(_cat/count)查看字段分配情况接口(_cat/fielddata)查看健康状态接口(_cat/health)查看索引信息接口(_cat/indices)查看master信息接口(_cat/转载 2021-03-15 13:36:38 · 5650 阅读 · 0 评论 -
Elasticsearch 7 : 设置索引副本数量和分片数量
分片数量至少为1,副本数量至少为 0 。默认分片数、副本数创建名为 movie 的索引 :PUT movieCopy注意,PUT movie和PUT /movie效果是一样的。响应:{ "acknowledged" : true, "shards_acknowledged" : true, "index" : "movie"}Copy查询索引信息:GET movieCopy响应:{ "movie" : { "a...转载 2021-03-15 13:15:28 · 6138 阅读 · 0 评论 -
Elasticsearch 集群、节点、索引、分片、副本概念
1)Cluster:集群ES可以作为一个独立的单个搜索服务器。不过,为了处理大型数据集,实现容错和高可用性,ES可以运行在许多互相合作的服务器上。这些服务器的集合称为集群,集群内的节点的cluster.name相同。2)Node:节点形成集群的每个服务器称为节点。ES 为分配不同的任务,定义了以下几个节点角色:Master,Data Node,Coordinating Node,Ingest NodeMaster 节点:每个 ES 节点启动之前都会有个默认配置 node.master:t转载 2021-03-15 13:11:32 · 1482 阅读 · 0 评论 -
Elasticsearch 7 : 关于 Index、Type、Document
含义Index:索引。复数是 Indices。 Type:类型。 Document:文档。文档是 JSON 类型的。与 MySQL 类比可以将 ES 中的这三个概念和 MySQL 类比:Index 对应 MySQL 中的 Database; Type 对应 MySQL 中的 Table; Document 对应 MySQL 中表的记录。一个MySQL实例中可以创建多个 Database,一个Database中可以创建多个Table。从 ES 7.0 开始,Type 被废弃转载 2021-03-11 14:13:06 · 1025 阅读 · 0 评论 -
Centos7.3安装 elasticsearch7.0.0 异常处理+解决方案
(一)centos7.3安装elasticsearch7.0.0下载https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.0.0-linux-x86_64.tar.gz安装linux下usr/local目录下创建elasticsearch目录cd usr/localmkdir elasticsearch解压elasticsearch压缩包将elasticsearch-7.0.0-linux-转载 2021-02-22 14:28:27 · 1405 阅读 · 0 评论 -
实例演示ElasticSearch索引查询term,match,match_phase,query_string之间的区别
通常在面试elasticsearch中,面试官会问一个关于查询的问题,就是term查询和match查询有什么区别?如果你对这两个查询不清楚,面试官会认为你没有用过elasticsearch,或者就是用了也不是很深入。下面通过实例来演示索引检索时term,match他们之间的区别: match:模糊匹配,需要指定字段名,但是输入会进行分词,比如"hello world"会进行拆分为hello和world,然后匹配,如果字段中包含hello或者world,或者都包含的结果都会被查询出来,也就是说m..转载 2020-10-25 19:09:09 · 1235 阅读 · 0 评论 -
es mapping设置之text or keyword ?
前言: 在es 2.*版本里面是没有这两个字段,只有string字段。 5.*之后,把string字段设置为了过时字段,引入text,keyword字段那么今天我们来看一下,es在5.*之后,字符串类型的mapping应该怎么设置实践:准备工作:es在5.*之后,string类型常用三种,1.默认的,就是我们不设置mapping直接往里面插入数据2.我们设置mapping为text 3.我们设置mapping为keywor...转载 2020-10-25 19:04:25 · 1662 阅读 · 0 评论 -
SpringBoot2.x集成分布式搜索引擎Elasticsearch
1. 前言在工作中你或多或少听说过搜索引擎,目前最流行的搜索引擎就是Elasticsearch,本文将从Elasticsearch的安装、实战、原理分析几个方面带你领略Elasticsearch的风采2. Elasticsearch介绍Elasticsearch是一个分布式搜索引擎,可以用来存储、分析、搜索数据。3. Elasticsearch安装3.1 Docker的方式安装Elasticsearch3.1.1 使用docker搜索镜像➜ ~ docker search e转载 2020-10-25 13:01:21 · 1487 阅读 · 2 评论 -
ElasticSearch 6.x 学习笔记:12.字段类型
字段类型概述一级分类 二级分类 具体类型 核心类型 字符串类型 string,text,keyword 整数类型 integer,long,short,byte 浮点类型 double,float,half_float,scaled_float 逻辑类型 boolean 日期类型 date 范围类型 range ...转载 2020-04-27 19:06:44 · 767 阅读 · 0 评论 -
es filter过滤的bitset机制和caching机制
document存储数据为:PUT /forum/article/_bulk{ "index": { "_id": 1 }}{ "articleID" : "XHDK-A-1293-#fJ3", "userID" : 1, "hidden": false, "postDate": "2017-01-01" }{ "index": { "_id": 2 }}{ "articleID" ...转载 2020-04-27 17:52:21 · 1047 阅读 · 0 评论 -
ES地理范围查询第二讲:地理位置信息之geo_shape
1.前言在前面我简单的介绍了es对地理位置点的相关操作,包括获取多边形内(凸多边形)的点及计算两点之间的距离,或者按照距离的远近排序的简要查询方法,但是假如我们的想要查询落在一个凹多边形内的点,使用geo_point类型的就满足不了我们的需求了,这时候es引入了geo_shape类型。2. Geo_shapegeo_shape支持GeoJson和WKT(Well-Known Text,...转载 2020-04-16 17:57:48 · 2886 阅读 · 1 评论 -
ES地理范围查询第一讲:Java操作地理位置信息(geo_point)
- 简要介绍我们知道es支持的数据类型是多种多样的,除了我们常见的几种基本数据类型,它也支持记录位置信息的的数据类型。在es中,记录地理位置信息的数据类型有两种,分别为geo_shap和geo_point,下面我针对geo_point类型简要介绍一下geo_point支持多种数据传入方式:字符串位置:lat + "," + lon 数组位置: {"lat": ...,"lon": .....转载 2020-04-16 15:27:50 · 5895 阅读 · 1 评论 -
GeoHash核心原理解析
引子机机是个好动又好学的孩子,平日里就喜欢拿着手机地图点点按按来查询一些好玩的东西。某一天机机到北海公园游玩,肚肚饿了,于是乎打开手机地图,搜索北海公园附近的餐馆,并选了其中一家用餐。饭饱之后机机开始反思了,地图后台如何根据自己所在位置查询来查询附近餐馆的呢?苦思冥想了半天,机机想出了个方法:计算所在位置P与北京所有餐馆的距离,然后返回距离机机的计算思想很朴素,就是转载 2016-10-19 11:30:47 · 1100 阅读 · 0 评论 -
LBS地理位置距离计算方法之geohash算法
随着移动终端的普及,很多应用都基于LBS功能,附近的某某(餐馆、银行、妹纸等等)。基础数据中,一般保存了目标位置的经纬度;利用用户提供的经纬度,进行对比,从而获得是否在附近。这里需要在设置出一个字段,是关于编码的字段,一会看下文哈……地理位置距离实现目标:查找附近多少公里内的人或者商家比如:微信、陌陌、美团、基于O2O的一些APP这些应用或者移动网页都需要用到地理位置计转载 2016-10-19 11:38:19 · 9563 阅读 · 0 评论 -
吃透 | Elasticsearch filter和query的不同
1、query和filter的本质区别?以下几张图能更好的概括:query关注点:此文档与此查询子句的匹配程度如何?filter关注点:此文档和查询子句匹配吗?2、Query检索细化关注点1)是否包含?确定文档是否应该成为结果的一部分.2)相关度得分多少?除了确定文档是否匹配外,查询子句还计算了表示文档与其他文档相比匹配程度的_score。3)得分越高,相关度...转载 2020-03-25 22:33:07 · 706 阅读 · 0 评论 -
Elasticsearch 5.0 中term 查询和match 查询(text和keyword)
最近项目中使用了ElasticSearch, 在使用基本的查询功能的时候,遇到些头疼的事情,有时候数据明明存在,用term查询就是查不到,用match才可以。有时候缺可以,差点就把es整成玄学了。后来阅读各种博客后,我想我明白其中的原理了。1. term&matchterm: 精确查询,对查询的值不分词,直接进倒排索引去匹配。 match; 模糊查询,对查询的值分词,对分词的结果...转载 2020-03-24 20:40:31 · 2018 阅读 · 0 评论 -
ElasticSearch(一)概念介绍及环境搭建
https://www.cnblogs.com/soft2018/p/10201441.html一、什么是ElasticSearch: Elasticsearch (ES)是一个基于Lucene构建的开源、分布式、RESTful 接口全文搜索引擎。Elasticsearch 还是一个分布式文档数据库,其中每个字段均是被索引的数据且可被搜索,它能够扩展至数以百计的服务器存储以及处理PB级的...转载 2019-06-04 16:21:52 · 615 阅读 · 0 评论 -
ElasticSearch(二)Kibana、版本控制
https://www.cnblogs.com/soft2018/p/10202175.htmlKibana简介: Kibana可视化界面 Kibana是一个开源的分析和可视化平台,设计用于和Elasticsearch一起工作。 你用Kibana来搜索,查看,并和存储在Elasticsearch索引中的数据进行交互。 你可以轻松地执行高级数据分析,并且以各种图标、表格和地图的形式可...转载 2019-06-04 16:21:47 · 810 阅读 · 0 评论 -
[ElasticSearch]使用 java API 进行CRUD操作
https://blog.csdn.net/lionel_fengj/article/details/78345741 本篇文章将介绍怎样使用 java 对 ElasticSearch 进行操作。 首先需要建立一个 maven 项目,这里不再赘述。 1.在maven 的 pom.xml文件中需要引入以下几个 jar 包<dependency> <...转载 2018-08-20 19:08:45 · 650 阅读 · 0 评论 -
使用curl命令操作elasticsearch And 使用http 查询ES
第一:_cat系列 _cat系列提供了一系列查询elasticsearch集群状态的接口。你可以通过执行 curl -XGET localhost:9200/_cat 获取所有_cat系列的操作 =^.^= /_cat/allocation /_cat/shards /_cat/shards/{index} /_cat/master /_cat/nodes转载 2017-04-12 13:59:36 · 38164 阅读 · 0 评论 -
ElasticSearch(三)springboot整合ES
https://www.cnblogs.com/soft2018/p/10203024.html最基础的整合:一、maven依赖<parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-pa...转载 2019-05-31 22:52:02 · 1536 阅读 · 0 评论 -
ElasticSearch(四)查询、分词器
https://www.cnblogs.com/soft2018/p/10203330.html正向索引 正排表是以文档的ID为关键字,表中记录文档中每个字的位置信息,查找时扫描表中每个文档中字的信息直到找出所有包含查询关键字的文档。 这种组织方法在建立索引的时候结构比较简单,建立比较方便且易于维护;因为索引是基于文档建立的,若是有新的文档加入,直接为该文档建立一个新的索引块...转载 2019-05-31 22:50:15 · 1423 阅读 · 0 评论 -
ELasticSearch(五)ES集群原理与搭建
https://www.cnblogs.com/soft2018/p/10213266.html一、ES集群原理 查看集群健康状况:URL+ /GET _cat/health (1)、ES基本概念名词 Cluster 代表一个集群,集群中有多个节点,其中有一个为主节点,这个主节点是可以通过选举产生的,主从节点是对于集群内部来说的。es的一个概念就是去中心化,字面上...转载 2019-05-31 22:49:13 · 2036 阅读 · 0 评论 -
图解Elasticsearch中的_source、_all、store和index属性
http://blog.csdn.net/napoay/article/details/62233031Elasticsearch中有几个关键属性容易混淆,很多人搞不清楚_source字段里存储的是什么?store属性的true或false和_source字段有什么关系?store属性设置为true和_all有什么关系?index属性又起到什么作用?什么时候设置store属性为true?什么时...转载 2017-09-29 14:22:29 · 994 阅读 · 0 评论 -
ElasticSearch学习资料
http://blog.csdn.net/garfielder007/article/details/54619878http://blog.csdn.net/xifeijian/article/category/5921963http://www.cnblogs.com/zlslch/p/6619089.htmlhttp://blog.csdn.net/zhengyong15转载 2017-04-26 12:10:40 · 1329 阅读 · 0 评论 -
ElasticSearch 实践
版本:2.3.5版本:5.3.0 (应为3.X,随ELK版本统一,故从5.X 开始)Windows端1、官网下载https://www.elastic.co/downloads/past-releases/elasticsearch-2-3-52、安装head插件进入目录E:\elasticsearch-2.3.5\bin>执行plugin.bat inst...原创 2017-04-10 10:22:28 · 1537 阅读 · 0 评论 -
Elasticsearch DSL中Query与Filter的不同
Elasticsearch支持很多查询方式,其中一种就是DSL,它是把请求写在JSON里面,然后进行相关的查询。举个DSL例子GET _search{ "query": { "bool": { "must": [ { "match": { "title": "Search" }}, { "ma转载 2017-05-04 17:11:51 · 1083 阅读 · 0 评论 -
ElasticSearch的 Query DSL 和 Filter DSL
Elasticsearch支持很多查询方式,其中一种就是DSL,它是把请求写在JSON里面,然后进行相关的查询。 Query DSL 与 Filter DSLDSL查询语言中存在两种:查询DSL(query DSL)和过滤DSL(filter DSL)。它们两个的区别如下图:query DSL在查询上下文中,查询会回答这个问题——“这个文档匹转载 2017-04-12 10:41:59 · 5587 阅读 · 0 评论 -
Elasticsearch——分页查询From&Size VS scroll
Elasticsearch中数据都存储在分片中,当执行搜索时每个分片独立搜索后,数据再经过整合返回。那么,如果要实现分页查询该怎么办呢?更多内容参考Elasticsearch资料汇总按照一般的查询流程来说,如果我想查询前10条数据:1 客户端请求发给某个节点2 节点转发给个个分片,查询每个分片上的前10条3 结果返回给节点,整合数据,提取前10条4 返回给请求客户端转载 2017-04-12 10:25:58 · 11091 阅读 · 5 评论 -
ELK实时日志分析平台环境部署--完整记录
http://www.cnblogs.com/kevingrace/p/5919021.html转载 2017-04-11 11:16:30 · 2365 阅读 · 0 评论 -
ELK(ElasticSearch, Logstash, Kibana)搭建实时日志分析平台
ELK平台介绍在搜索ELK资料的时候,发现这篇文章比较好,于是摘抄一小段:以下内容来自: http://baidu.blog.51cto.com/71938/1676798日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错转载 2017-04-07 17:14:54 · 1120 阅读 · 0 评论 -
ELK学习资料
http://www.cnblogs.com/zlslch/category/953123.htmlhttp://www.cnblogs.com/zlslch/category/950999.html转载 2017-04-11 10:58:09 · 1103 阅读 · 0 评论 -
ElasticSearch映射和分析
分析和分析器分析(analysis)是这样一个过程:首先,表征化一个文本块为适用于倒排索引单独的词(term)然后标准化这些词为标准形式,提高它们的“可搜索性”或“查全率”这个工作是分析器(analyzer)完成的。一个分析器(analyzer)只是一个包装用于将三个功能放到一个包里:字符过滤器首先字符串经过字符过滤器(character filter),它们的转载 2017-09-29 15:00:27 · 823 阅读 · 0 评论 -
elasticsearch 查询(match和term)
elasticsearch 查询(match和term)es中的查询请求有两种方式,一种是简易版的查询,另外一种是使用JSON完整的请求体,叫做结构化查询(DSL)。由于DSL查询更为直观也更为简易,所以大都使用这种方式。DSL查询是POST过去一个json,由于post的请求是json格式的,所以存在很多灵活性,也有很多形式。这里有一个地方注意的是官方文档里面给的例子的json结构只是...转载 2017-11-08 15:49:55 · 2045 阅读 · 0 评论 -
logstash日志分析的配置和使用
https://www.cnblogs.com/yincheng/p/logstash.html logstash是一个数据分析软件,主要目的是分析log日志。整一套软件可以当作一个MVC模型,logstash是controller层,Elasticsearch是一个model层,kibana是view层。 首先将数据传给logstash,它将数据进行过滤和格式化...转载 2018-07-25 10:34:55 · 6589 阅读 · 0 评论 -
Elasticsearch索引原理
https://blog.csdn.net/cyony/article/details/65437708最近在参与一个基于Elasticsearch作为底层数据框架提供大数据量(亿级)的实时统计查询的方案设计工作,花了些时间学习Elasticsearch的基础理论知识,整理了一下,希望能对Elasticsearch感兴趣/想了解的同学有所帮助。 同时也希望有发现内容不正确或者有疑问的地方,望指...转载 2019-03-23 19:52:23 · 658 阅读 · 0 评论