ELK学习(六、)

最新推荐文章于 2023-08-30 21:11:25 发布
最新推荐文章于 2023-08-30 21:11:25 发布
阅读量270 收藏
点赞数
文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mengyeweiwu/article/details/111019324
版权

1.es的copy_to参数
2.嵌套类型的创建
3.es分片的设置
4.match其它参数的应用
5.ik分词器安装以及介绍

1.copy_to参数

copy_to字段是将一个字段的值传递给另一个字段
创建copy_to类型(在设置字段类型(mapping)时，传入这一参数)

PUT s7
{
  "mappings": {
    "properties": {
      "t1":{
        "type": "text",
        "copy_to": "t3"
      },
      "t2":{
        "type": "text",
        "copy_to":"t3"
      },
      "t3":{
        "type": "text"
      }
    }
  }
}

在这里插入图片描述
2对copy_to参数功能进行验证
当没有给t3赋值时仍旧可以当作主查询进行索引

PUT s7/_doc/1
{
  "t1":"soul",
  "t2":"madam"
}

GET s7/_search
{
  "query": {
    "match": {
      "t3": "soul"
    }
  }
}

在这里插入图片描述

二、嵌套数据类型

当需要插入这种数据时如何创建映射
在这里插入图片描述
创建嵌套映射索引

PUT s12
{
  "mappings": {
    "properties": {
      "name":{
        "type": "text"
      },
      "age":{
        "type": "long"
      },
      "info":{
        "properties": {
          "addr":{
            "type":"text"
          },
          "phone":{
            "properties":{
              "iphone":{
                "type":"text"
              }
            }
          }
        }
      }
    }
  }
}

三、es分片设置

1.分片是什么
简单来讲就是咱们在ES中所有数据的文件块，也是数据的最小单元块。
当有大量的文档时，由于内存的限制、磁盘处理能力不足、无法足够快的响应客户端的请求等，一个节点可能不够。这种情况下，数据可以分为较小的分片。每个分片放到不同的服务器上。
当你查询的索引分布在多个分片上时，ES会把查询发送给每个相关的分片，并将结果组合在一起，而应用程序并不知道分片的存在。

2.副本是什么
当主分片丢失时，如：该分片所在的数据不可用时，集群将副本提升为新的主分片。作为一个安全措施

3.es设置分片和副本
number_of_shards 是指索引要做多少分片,只能在创建索引时指定，后期无法修改
number_of_replicas 是指每个分片要做多少个副本,后期可以动态修改

##设置多分片和副本
PUT s13
{
  "mappings": {
    "properties": {
      "t1":{
        "type": "text"
      }
    }
  },
  "settings": {
    "number_of_shards": 5,
    "number_of_replicas": 5
  }
}

在这里插入图片描述

四、match其它参数的应用

1.match_phrase是短语查询的参数
如果使用match来查询一个词语的话,es会默认的将词语按照每一个字进行查询列如使用match查询中国这个词组，结果会返回所有只要带这两个字其中一个字的结果

##match_parse短语查询
PUT t1/_doc/1
{
  "title":"中国是我的国家"
}
PUT t1/_doc/2
{
  "title":"美国军事力量很强"
}
PUT t1/_doc/3
{
  "title":"中间有很多人"
}
GET t1/_search
{
  "query": {
    "match": {
      "title": "中国"
    }
  }
}

在这里插入图片描述
当使用match_parse参数则会返回带这个词组的结果‘

GET t1/_search
{
  "query": {
    "match_phrase": {
      "title": "中国"
    }
  }
}

在这里插入图片描述
2.Match还存在slop参数，当两个词语不连接在一起时，是不可以通过match_parse来查询的，但是可以通过slop参数来指定两个短语之间的间隔,es会根据间隔忽略这个间隔内的数据

GET t1/_search
{
  "query": {
    "match_phrase": {
      "title": {
        "query": "中国我国家",
        "slop": 2
      }
      }
    }
  }

3.左前缀查询
当搜索时很多情况下只能记住前半段列如拼写apple，只记住app三个字母应该怎么办呢，es提供了一个match_phrese_prefix参数，只需要记住查询数据的左边任意部分该参数会帮助你自动补齐

GET t2/_search
{
  "query": {
    "match_phrase_prefix": {
      "title": "app"
    }
  }
}

在这里插入图片描述

3.多字段查询
Multi_match:多字段查询 可以完成match_phrase和match_phrase_prefix
当一个文档中存在字段时可以使用多字段查询，并且次字段下还定义了type类型用来完成match_phrase和match_phrase_prefix的操作

GET t2/_search
{
  "query": {
    "multi_match": {
      "query": "app",
      "fields": ["title","title1"]
      , "type": "phrase_prefix"
    }
  }
}

五、ik分词器安装以及介绍

我们在使用kilbana对中文进行分割时是按一个词一个词划分显然是不科学的
列如对一段话进行分词

GET _analyze
{
  "analyzer": "chinese",
  "text":"上海自来水来自中国"
}

结果为

{
  "tokens" : [
    {
      "token" : "上",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "<IDEOGRAPHIC>",
      "position" : 0
    },
    {
      "token" : "海",
      "start_offset" : 1,
      "end_offset" : 2,
      "type" : "<IDEOGRAPHIC>",
      "position" : 1
    },
    {
      "token" : "自",
      "start_offset" : 2,
      "end_offset" : 3,
      "type" : "<IDEOGRAPHIC>",
      "position" : 2
    },
    {
      "token" : "来",
      "start_offset" : 3,
      "end_offset" : 4,
      "type" : "<IDEOGRAPHIC>",
      "position" : 3
    },
    {
      "token" : "水",
      "start_offset" : 4,
      "end_offset" : 5,
      "type" : "<IDEOGRAPHIC>",
      "position" : 4
    },
    {
      "token" : "来",
      "start_offset" : 5,
      "end_offset" : 6,
      "type" : "<IDEOGRAPHIC>",
      "position" : 5
    },
    {
      "token" : "自",
      "start_offset" : 6,
      "end_offset" : 7,
      "type" : "<IDEOGRAPHIC>",
      "position" : 6
    },
    {
      "token" : "中",
      "start_offset" : 7,
      "end_offset" : 8,
      "type" : "<IDEOGRAPHIC>",
      "position" : 7
    },
    {
      "token" : "国",
      "start_offset" : 8,
      "end_offset" : 9,
      "type" : "<IDEOGRAPHIC>",
      "position" : 8
    }
  ]
}

}所以我们需要安装中文分词器来解决这个问题。

2.安装步骤

Ik分词器安装
https://github.com/medcl/elasticsearch-analysis-ik/releases
下载对应的版本

首先下载es对应版本的ik分词器的zip包，上传到es服务器上，在es的安装目录下有一个plugins的目录，在这个目录下创建一个叫ik的目录
然后将解压好的内容，拷贝到ik目录
将ik目录拷贝到其他的es节点
重新启动所有的es

3.验证ik分词器
Ik分词器测试
IK提供了两个分词算法ik_smart 和 ik_max_word
其中 ik_smart 为最少切分，ik_max_word为最细粒度划分
我们分别来试一下

3.1最少细分

GET _analyze
{
  "analyzer": "ik_smart",
  "text":"上海自来水来自中国"
}

结果为

{
  "tokens" : [
    {
      "token" : "上海",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "自来水",
      "start_offset" : 2,
      "end_offset" : 5,
      "type" : "CN_WORD",
      "position" : 1
    },
    {
      "token" : "来自",
      "start_offset" : 5,
      "end_offset" : 7,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "中国",
      "start_offset" : 7,
      "end_offset" : 9,
      "type" : "CN_WORD",
      "position" : 3
    }
  ]
}

3.2 ik_max_word为最细粒度划分
创建

GET _analyze
{
  "analyzer": "ik_max_word",
  "text":"上海自来水来自中国"
}

结果为

"tokens" : [
    {
      "token" : "上海",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "自来水",
      "start_offset" : 2,
      "end_offset" : 5,
      "type" : "CN_WORD",
      "position" : 1
    },
    {
      "token" : "自来",
      "start_offset" : 2,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "水",
      "start_offset" : 4,
      "end_offset" : 5,
      "type" : "CN_CHAR",
      "position" : 3
    },
    {
      "token" : "来自",
      "start_offset" : 5,
      "end_offset" : 7,
      "type" : "CN_WORD",
      "position" : 4
    },
    {
      "token" : "中国",
      "start_offset" : 7,
      "end_offset" : 9,
      "type" : "CN_WORD",
      "position" : 5
    }
  ]
}
mengyeweiwu
关注
ELK学习总结（2）——ELK 原理介绍及实践详解
科技D人生
09-20 4831
一、需求背景 业务发展越来越庞大，服务器越来越多 各种访问日志、应用日志、错误日志量越来越多，导致运维人员无法很好的去管理日志 开发人员排查问题，需要到服务器上查日志，不方便 运营人员需要一些数据，需要我们运维到服务器上分析日志 二、为什么要用到ELK 一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大也就是日志量多而复杂的场景中，此...
【微服务】springboot集成ELK使用详解
最新发布
congge
01-28 1万+
springboot集成ELK使用详解
elk match_phrase range 联合查询语句
u012954380的博客
09-01 408
GET /logstash_mh_oms_admin_log_2021.08.31/_doc/ { "query": { "message":"推送订单入参" } } GET /_cat/indices?v GET /logstash_mh_oms_admin_log_2021.08.31/_doc/_search GET /logstash_mh_oms_admin_log_*/_search { "query": { "match": { "content"...
es查询：match、match_parse
jff_shihaoren的博客
06-10 889
前期准备 /*Text字段结构：*/ "user":{ "type":"text", "fields":{ "keyword":{ "type":"keyword", "ignore_above":256 } } } /*user的值*/ 数据1："user":"1 104" 数据2："user":"1" 1. Match /**********************************************************/ { "query":{ "
Elasticsearch实战（九）---CopyTo字段组合 实现逻辑多字段搜索
流浪的喵的博客
07-02 2082
Elasticsearch CopyTo字段组合 实现逻辑多字段搜索，替换cross_fields搜索
elasticsearch参数copy_to
热门推荐
lpp_dd的博客
01-03 1万+
在使用elasticsearch时遇见了这样的需求：es聚合指定字段时聚合的结果里面只显示聚合的字段。但是在做报表时，我们发现一个问题：如果我们对员工进行聚合，但是我们还希望查看当前员工所在的班组，部门等信息。这时如果查询es两次，对于效率来说是不好的。所以我们在这里使用一个es的字段特性：copy_to 使用的步骤： 1、创建mapping PUT my_index {   "mappi
使用VBA在Office中输入特殊字符（2/3）
神奇的BI
09-08 1507
在上一篇博文《使用VBA在Office中输入特殊字符（1/3）》中使用Byte数组实现了输入特殊字符，但是如果获得代表特殊字符的Byte数组的值呢？其实也不复杂。
ELK学习笔记(六)【原创】
05-01
标题 "ELK学习笔记(六)【原创】" 暗示了这是一篇关于ELK Stack（Elasticsearch、Logstash、Kibana）的系列教程中的第六部分，主要聚焦于Logstash，一个用于数据收集、处理和转发的工具。在ELK Stack中，Logstash扮演...
ELK学习记录
06-23
### ELK学习记录 #### ELK配置及使用步骤详解 ELK栈，即Elasticsearch、Logstash与Kibana的组合，是当前业界广泛采用的日志管理和数据分析平台。本篇将围绕Logstash这一核心组件进行深入探讨，涵盖其基本配置、...
ELK安装配置学习笔记
glisten0317的博客
08-30 1223
ELK（filebeat、logstash、elasticsearch和kibana）的安装配置，监控nginx日志
slop应用和分析
01-19
可以作为网络学习的技术基础
es match、match_phrase、query_string和term的区别
Flyer的后花园
09-10 5692
一）text字段和keyword字段的区别 以下给出一个例子： 首先建立一个索引和类型，引入一个keywork的字段： PUT my_index { "mappings": { "products": { "properties": { "name": { "type": "keyword" } }...
ES 搜索16 (自定义 _all 字段 copy_to关键字)
qq_42383787的博客
08-23 1510
自定义 _all 字段 在all-field字段中，我们解释过_all字段的索引方式是将所有其他字段的值作为一个大字符串索引的。然而这么做并不十分灵活，为了灵活我们可以给人名添加一个自定义_all字段，再为地址添加另一个_all字段。 Elasticsearch 在字段映射中为我们提供copy_to参数来实现这个功能： PUT /my_index { "map...
ELK（七）：ElasticSearch常用命令
Hurpe
05-07 1703
ElasticSearch常用命令 1、启动 2、ELasticsearch集群已经启动并且正常运行 3、计算集群中的文档数量 4、查看集群健康状况 5、查看my_index的mapping和setting的相关信息 6、查看所有的index 7、空查询 8、分页搜索 9、range查询 10、组合查询 11、带过滤器的查询 12、验证查询 13、删除索引 14、只查询部分字段 15、修改密码...
ELK-Elasticsearch第二谈（ES核心概念、ES简单操作、构建查询、查询结果过滤排序分页、term和match查询区别、自定义查询结果高亮）
ITMAN009的博客
09-16 615
Elasticsearch第二谈（ES核心概念、ES简单操作、构建查询、查询结果过滤排序分页、term和match查询区别、自定义查询结果高亮） Elasticsearch相关概念 1、Elasticsearch面向文档、关系行数据库、和Elasticsearch对比 Elasticsearch的文件存...
ES 查询 —— match 和 match_prase
weixin_41565755的博客
01-22 3997
1、相关性评分 ES 计算相似度的算法为 TF/IDF（检索词频率/反向文档频率） 单个次匹配 （1）字段长度准则：document 的长度越长，相关性越低。 （2）检索词频率准则：关键字在document 中出现频率越高，相关性也越高。 多个次匹配 （1）反向 document 频率准则：对于每个检索关键字而言，在 Index 中出现的频率越高，其相对的相关性占比越低。 2、match 和 match_prase match 是全文搜索，只要发现和搜索条件相关的 document，都会出.
短语匹配-match_phrase以及slop参数
liyu121的博客
08-13 1767
数据： POST /my_index/my_type/_bulk { "index": { "_id": 1 }} { "title": "The quick brown fox" } { "index": { "_id": 2 }} { "title": "The quick brown fox jumps over the lazy dog" } { "index": { "_id": 3 ...
ElasticSearch系列二 DSL查询
sswltt的博客
04-14 397
文章目录查询和过滤查询match二级目录三级目录 查询和过滤 叶查询子句:在特定的字段上查找特定的值,比如 match term rang 可以理解为单条件查询 复合查询字句:包含其他叶查询或复合查询,可以理解为多条件查询. 查询: query 用于检索内容与条件是否匹配,并计算_score份数 过滤:filter不计算匹配得分,只是简单的决定文档是否匹配,主要用于过滤结构化数据 如时间 状态 ...
ELK堆栈快速搭建与深入学习指南
知识点六：ELK使用 ELK的使用主要涉及到数据的输入、处理和输出。Logstash用于数据的输入，可以接收各种来源的数据，如文件、数据库、网络等。然后通过Elasticsearch对数据进行处理和存储。最后，通过Kibana对数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值