2021-08-08 Elasticsearch 1-3杂记

最新推荐文章于 2023-06-09 17:05:39 发布
最新推荐文章于 2023-06-09 17:05:39 发布
阅读量463 收藏
点赞数
分类专栏： Linux & Applications 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Huangfei10086/article/details/119507312
版权

文章目录

GET _search
{
  "query": {
    "match_all": {}
  }
}

GET securities-futures-2021.31/_doc/?
// 查看索引相关信息
GET securities-futures-2021.31

// 查看索引文档总数
GET securities-futures-2021.31/_count

//查看前10条文档，了解文档格式
POST securities-futures-2021.31/_search
{

}

//查看indices
GET /_cat/indices/securities-*?v&s=index

//查看状态为绿的索引
GET /_cat/indices?v&health=green

//按照文档个数排序
GET /_cat/indices?v&s=docs.count:desc

//查看具体的字段
GET /_cat/indices/securities*?pri&v&h=health,index.pri,rep,docs,count,mt

// 查看每个索引所占用的内存
GET /_cat/indices?v&h=i,tm&s=tm:desc

//
//查看集群的健康状态
GET _cluster/health
GET _cat/nodes
GET _cat/shards

查看索引的mapping的定义
GET indices/_mapping

CURD操作

//PUT文档的时候可以指定文档的ID，使用POST可以把ID去掉，会自动生成ID

PUT

//PUT方法文档的时候可以指定文档的ID，使用POST方法可以把ID去掉，会自动生成ID

PUT securities-futures-2021.31/_cereat/1
{
  
}
PUT securities-futures-2021.31/_doc/1
{
  
}

index与Create不一样的地方是，如果文档不存在就索引新文档，否则现有文档会被删除，新的文档被索引。版本信息+1

POST securities-futures-2021.31/_create
{
  
}

GET securities-futures-2021.31/_doc/1

//update一个文档，使用POST方法
POST securities-futures-2021.31/_update/1
{
 "doc":{
   
 } 
}

使用POST 来create一个文档，自动生成ID

//create document,自动生成_id，自动生成文档ID要用POST
POST securities-futures-2021.31/_doc
{
  "tags": ["Mike","is a person"],
  "@metadata":"2021-08-07T14:12:12",
  "message": "test kibana message"
}

结果如下

{
  "_index" : "securities-futures-2021.31",
  "_type" : "_doc",
  "_id" : "rRZBIHsBY4N9DGxpewtO",
  "_version" : 1,
  "result" : "created",
  "_shards" : {
    "total" : 2,
    "successful" : 2,
    "failed" : 0
  },
  "_seq_no" : 39501,
  "_primary_term" : 1
}

把文档拿出来看看

GET securities-futures-2021.31/_doc/rRZBIHsBY4N9DGxpewtO

GET securities-futures-2021.31/_doc/k7FDIHsBzlSCb0pCVpJs

PUT一个文档指定文档的ID

//PUT方法创建一个文档，指定文档ID为1,但是如果id已经存在，则报错：

PUT securities-futures-2021.31/_doc/1?op_type=create
{
  "tags": ["Jason","is a person"],
  "@metadata":"2021-08-07T14:12:12",
  "message": "test kibana message"
  
}

//以上是一个创建的操作op_type，所以如果存在id就会报错，但是如果不是创建的type，则默认是更新的操作，可以更新文档的版本号，如下，内容一样，但是每一次都会更新文档的版本号，这其实是一个index的操作，把旧文档删除，然后写入新文档，把版本号加1

PUT securities-futures-2021.31/_doc/1
{
    "tags": ["Jason","is a person"]
}

GET securities-futures-2021.31/_doc/1

更新操作，对文档增加两个字段

POST securities-futures-2021.31/_update/1
{
  "doc":{
    "@metadata": "2021-08-07T14:13:13",
    "message": "test kibana message2"
  }
}

BULK的API

#在一次REST的API中执行多种操作，还可以对不同的索引进行操作

POST _bulk
{"index":{"_index":"test","_id":1}}
{"field1":"value1"}
{"delete":{"_index":"test","_id":"2"}}
{"create":{"_index":"test2","_id":"3"}}
{"field1":"value3"}
{"update":{"_id":"1","_index":"test"}}
{"doc":{"field2":"value2"}}

GET test/_doc/1
GET test2/_doc/3

mget 批量读取操作

GET _mget
{
  "docs":[
    {
      "_index": "user",
      "_id":1
    },
    {
      "_index": "comment",
      "_id":1
    },
    {
      "_index": "test",
      "_id": 1
    }
    ]
}

msearch 指搜索

批量查询

GET securities-futures-2021.08.05
POST securities-futures-2021.31/_msearch
{}
{"query":{"match_all":{}},"size":1}
{"index":"securities-futures-2021.08.05"}
{"query":{"match_all":{}},"size":2}

POST /_msearch
{"index":"securities-futures-2021.31"}
{"query":{"match_all":{}},"size":1}
{"index":"securities-futures-2021.08.05"}
{"query":{"match_all":{}},"size":2}

3.15节—倒排索引##############

倒排索引按照word进行索引标明这个word在哪个文档中出现过。
拿图书来类比，图书中的目录页就是正排索引，而书最后的索引页，就是一种倒排索引的实现。
正排索引是文档ID到文档内容的单词的索引，
倒排索引是从单词来找文档的ID的索引。
所以在文档定入的时候要进行分词。

倒排索引项：
1，文档ID
2，词频TF，出现的次数
3，位置，position
4，偏移，Offset

Elasticsearch的JSON文档中的每个字段，都有自己的倒排索引，可以指定某些字段不用做索引，这样可以节省空间，但是该字段就无法进行搜索了。

3.16节–analysis，分词器

analysis是把文档分成单词的过程，也叫分词。是通过analyzer来实现的，elasticsearch内置了一些分词器，也可以按需求定制化一些分词器。
除了在写入时转换词条外，匹配query语句的时候也需要用相同的分词器对查询语句进行分析。

Analyzer分词器由3部分组成：
1，Chracter Filters:
对原始文本进行一些处理，例如去除html的标签。
2，Tokenizer:
按照一定的规则，将输入的字符串进行切分，例如按照空格进行切分
3，Token Filters:
对切分的单词进行加工，例如大小转小写，频用词去掉，增加一些近义词

内置的分词器：

1，standard analyzer:默认的分词器，按词切分，小写处理。
2，simple analyzer:按照非字母切分（符号被过滤），小写处理。
3，stop analyzer:小写处理，停用词过滤（the,a,is等）tokennizer是lowercase，Token Filter 是Stop
4，whitespace analyzer:按照空格进行切分，不转小写。
5，keyword analyzer:不分词，直接将输入当作输出。不不需要进行分词的时候就选这个。
6，patter analyzer: 正则表达式切分，默认\W+(非字符分割)，Tokenizer是pattern，而Token Filter是Lower case + Stop.
7，language ，提供了30多种常见语言的分词器。什么ing形式转成正式单词，复数转单数。
8，customer analyzer: 自定义分词器。

_analyze的api

直接指定analyzer进行测试

GET /_analyze
{
	"analyzer":"standard",
	"text": "Mastering Elasticsearch,elasticsearch in Action"
}
GET /_analyze
{
	"analyzer":"simple",
	"text": "Mastering Elasticsearch,elasticsearch in Action"
}
GET /_analyze
{
	"analyzer":"stop",
	"text": "Mastering Elasticsearch,elasticsearch in Action"
}
GET /_analyze
{
	"analyzer":"whitespace",
	"text": "Mastering Elasticsearch,elasticsearch in Action"
}

GET /_analyze
{
	"analyzer":"keyword",
	"text": "Mastering Elasticsearch,elasticsearch in Action"
}
GET /_analyze
{
	"analyzer":"pattern",
	"text": "Mastering Elasticsearch,elasticsearch in Action"
}

GET /_analyze
{
	"analyzer":"english",
	"text": "Mastering Elasticsearch,elasticsearch in Action"
}

指定的字段进行测试

POST books/_analyze
{
	"field": "title",
	"text":"Mastering Elasticsearch"
}

#自定义分词器进行测试
POST /_analyze
{
	"tokenizer":"standard",
	"filter":[“lowercase”],
	"test":"Mastering Elasticsearch"
}

中文分词

中文需要根据上下文进行分词。需要安装一个插件
elasticsearch-plugin install analysis-icu
提供了一个unicode的支持，更好的支持亚洲语言。

GET /_analyze
{
	"analyzer":"icu_analyzer",
	"text": "Mastering Elasticsearch,elasticsearch in Action"
}

还有更好的分词器：IK,THULAC(清华大学自然语言处理和社会人文计算实验室)

3.14节—Search API 概览

API 分两类
1，URIsearch，在URI中使用GET参数来查询
2，Request BODY方式，在BODY中使用JSON格式进行查询。
2.1,/_search
2.2,/index1/_search
2.3,/index1,index2/_search
2.4,/index*/_search

curl -XGET “http://localhost:9200/securities-futures-2021.31/_search?q=message:testmessage”
上述URL中，_search指明要查询
q指明查询的条件。

curl -XGET "http://localhost:9200/securities-futures-2021.31/_search"-H 'Content-Type:application/json' -d'
{
	"query":{
		"match_all":{}
	}
}

3.15节------URI Search

GET /securities-futures-2021.31/_search?q=2012&df=title&sort=year:desc&from=o&size=10&timeout=1s
{
	"prifile": true
}
  • q:指定查询语句，使用Query String Syntax
  • df:默认字段，不指定时，会对所有字段进行查询—default fields.不指定就是全文查找。所以指定字段会比较好。
  • sort:排序，/from和size用于分页
  • profile：可以可看查询是如何被执行的。

指定字段查询 与泛查询

q=title:2012 q=2012

指定字段查询，以下指定从host.name字段进行查询

GET securities-futures-2021.31/_search?q=host.name:ELK-NODE-1&from=0&size=1
{
  "profile": true
}
结果如下：
{
  "took" : 8,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 10000,
      "relation" : "gte"
    },
    "max_score" : 0.0029382796,
    "hits" : [
      {
        "_index" : "securities-futures-2021.31",
        "_type" : "_doc",
        "_id" : "9aymFXsB-X2346SZyKCM",
        "_score" : 0.0029382796,
        "_source" : {
          "log" : {
            "file" : {
              "path" : "/var/log/messages"
            },
            "offset" : 2809904605
          },
          "ecs" : {
            "version" : "1.8.0"
          },
          "agent" : {
            "hostname" : "ELK-NODE-1",
            "version" : "7.13.4",
            "ephemeral_id" : "dcfa9937-6316-4684-a2dd-e9437cbe5c81",
            "id" : "3fa3c407-7491-4888-b338-d52ed73ddab3",
            "type" : "filebeat",
            "name" : "ELK-NODE-1"
          },
          "message" : "Aug  5 17:30:49 elk-node-1 logstash: [2021-08-05T17:30:49,416][INFO ][logstash.outputs.file    ][main][f88fdfac4ab33fa2abbfe198d5bf459f178520a5935bb820ace171000ecb342f] Closing file /tmp/futures/ELK-NODE-1-192.168.9.45-2021.08.05",
          "@timestamp" : "2021-08-05T09:30:55.909Z",
          "input" : {
            "type" : "log"
          },
          "tags" : [
            "标签",
            "可以随便写",
            "可以写中文",
            "kafka-tags",
            "from-filebeat-tag"
          ],
          "host" : {
            "name" : "ELK-NODE-1"
          },
          "fields" : {
            "applicationname" : "frontend",
            "address" : "dlfjdjfla kjfdlja flj asdljf ljd",
            "hostname" : "ELK-NODE-1",
            "systemname" : "futures",
            "ipaddress" : "192.168.9.45"
          },
          "@version" : "1"
        }
      }
    ]
  },
  "profile" : {
    "shards" : [
      {
        "id" : "[kicYTiloQ_ed57aZCXfjnA][securities-futures-2021.31][0]",
        "searches" : [
          {
            "query" : [
              {
                "type" : "TermQuery",
                "description" : "host.name:ELK-NODE-1",
                "time_in_nanos" : 3119640,
                "breakdown" : {
                  "set_min_competitive_score_count" : 10,
                  "match_count" : 0,
                  "shallow_advance_count" : 0,
                  "set_min_competitive_score" : 10988,
                  "next_doc" : 1423795,
                  "match" : 0,
                  "next_doc_count" : 10080,
                  "score_count" : 10080,
                  "compute_max_score_count" : 0,
                  "compute_max_score" : 0,
                  "advance" : 88104,
                  "advance_count" : 8,
                  "score" : 1082164,
                  "build_scorer_count" : 16,
                  "create_weight" : 233821,
                  "shallow_advance" : 0,
                  "create_weight_count" : 1,
                  "build_scorer" : 280768
                }
              }
            ],
            "rewrite_time" : 3678,
            "collector" : [
              {
                "name" : "SimpleTopScoreDocCollector",
                "reason" : "search_top_hits",
                "time_in_nanos" : 2026048
              }
            ]
          }
        ],
        "aggregations" : [ ]
      }
    ]
  }
}

泛查询：所有字段都查询：

GET securities-futures-2021.31/_search?q=ELK-NODE-1
  "profile": true
}

GET securities-futures-2021.31/_search?q=ELK-NODE-1&df=host.name&from=0&size=1
  "profile": true
}

Term 与Phrase

Beautiful Mind，等同于查Beautiful 或者 Mind 两个词。随便出现一个即匹配到查询
“Beautiful Mind” 有引号引起来表示2个必需同时出现，且顺序要保持一致

分组与引号

title:(Beautiful AND Mind)
title=“Beautiful Mind”

GET /indices/_search?q=title:Beautiful Mind
{
	"profile": true
}

如上，这样写就是查看Beautiful 或者Mind两个词的就可以

GET /indices/_search?q=title:(Beautiful Mind)
{
	"profile": true
}

如上，必需(Beautiful Mind) 在一起，而且前后顺序一致

布尔操作

  • AND / OR / NOT 或者 &&、|| ！
    1、必需大写
    2、title:(matrix NOT reloaded)
  • 分组
    1、+ 表示must
    2、- 表示must_not
    3、- title:(+matrix - reloaded)
GET /indices/_search?q=title:(Beautiful AND Mind)
{
	"profile":true
}

GET /indices/_search?q=title:(Beautiful NOT Mind)
{
	"profile":true
}

GET /indices/_search?q=title:(Beautiful NOT Mind)
{
	"profile":true
}

GET /indices/_search?q=title:(Beautiful @2BMind)
{
	"profile":true
}

%2B表示+号，表示must

范围查询

  • 区间表示：“[]”表示闭区间，｛｝表示开区间
  • year:{2019 TO 2018}
  • year:[* TO 2018]
GET /indices/_search?q=year:>=2018
{
	“pfofile”:"true"
}

算数符号

  • year:>2010
  • year:(>2010 && <=2018)
  • year:(+>2010 +<2018)

通配符查询（通配符查询效率低，占用内存大，不建议使用，特别是在最前面）

  • ？代表1个字符
    • 代表0或多个字符
  • 示例
  • title:mi?d
  • title:be*

正则表达式查询

  • title:[bt]oy

模糊匹配与近似查询

  • title:beautiful~1
  • title:“lord rings”~2
GET /indices/_search?q=title:beautifl~1
{
	"profile":"true"
}

模糊匹配，但是可以模糊匹配。U为故意写错的，查找与这个词近似的值。

Request Body的查询

URIsearch的查询语法有限，一些高阶的查询方法只能用Request Body的方法进行查询

一个简单的示例


POST /indices,404_idx/_search?ignore_unavailable=true
{
	"profile"：“true",
	"query":{
			"match_all":{}
	}
}


POST /indices,404_idx/_search?ignore_unavailable=true
{
	"profile"：“true",
	"sort"[{"order_date":"desc"}],
	"_source":["order_date","order_date","category.keyword"],
	"from": 10,
	"size": 5,
	"query":{
			"match_all":{}
	}
}

sort指明以哪个字段进行排序
_source:,指明从哪几个字段查询

排序最好在“数字型”与“日期型”字段上进行排序
如果不指定"_source",则从所有字段中进行查询，可以使用source写明指定字段进行查询。

脚本字段

“painless" 拼接

GET /index/_search
{
	"script_fields":{
		"new_field":{
			"script":{
				"lang":"painless",
				"source":"doc['order_date'].value+'_hello'"
			}
		}
	}
	"from":10,
	"size":5,
	"query":{
		"match_all":{}
	}
}

GET securities-futures-2021.31/_search
{
  "script_fields": {
    "test_field": {
      "script": {
        "lang": "painless",
        "source": "doc['agent.hostname'].value+doc['agent.id'].value"
      }
    }
  },
  "from":10,
  "size":5,
  "query":{
    "match_all":{}
  }
}

painless是elasticsearch的脚本去算出一个新的字段结果来。
订单中有不同的汇率，需要结合汇率对订单价格进行排序。

match 查询

GET /securities-futures-2021.31/_search
{
  "query":{
    "match": {
      "fields.hostname": "ELK-NODE-1"
    }
  },
  "size":10,
  "from":5
}

使用match匹配你要查询的字段的值。

GET /securities-futures-2021.31/_search
{
  "query":{
    "match": {
      "fields.hostname": "ELK-NODE-1 ELK-NODE-2"
    }
  },
  "size":1,
  "from":5
}

但是如果如上所示，如果填入两个词的话,则只查询后面的词，如果想两个都查，

GET /securities-futures-2021.31/_search
{
  "query":{
    "match": {
      "fields.hostname": {
      	"query":"ELK-NODE-1 ELK-NODE-2"
      	"operator":"AND"
      }
    }
  },
  "size":1,
  "from":5
}

指明需要一个AND的操作，两个字一起查。

match_phrase

GET /securities-futures-2021.31/_search
{
  "query":{
    "match_phrase": {
      "agent.hostname": {
        "query": "INFO monitoring",
        "slop": 1
      }
    }
  }
}

slop的值为1，表示中间可以有1个不同的值。

Query String 与Simple Query

Query String

GET securities-futures-2021.31/_search
{
  "query":{
    "query_string": {
      "default_field": "message",
      "query": "Non-zero AND metrics"
    }
  }
}

Simple Query

GET securities-futures-2021.31/_search
{
  "query":{
    "simple_query_string": {
      "query": "Non-zero AND metrics",
      "fields": ["message"],
      "default_operator": "AND"
    }
    }
  }
}
  • 类似于query string，但是会忽略错误的语法，同时只支持部分查询语法
  • 不支持AND OR NOT，会当作字符串处理
  • Term之间的默认关系是OR，可以指定Operator,
  • 支持 部分逻辑
  • “+” 表示AND
  • “|” 表示OR
  • “-” 表示NOT

Mapping 与Dynamic Mapping

Mapping：

与数据中中定义表的属性差不多，

  • 定义字段的名称
  • 定义字段的数据类型，字符串，数字，布尔。
  • 字段，倒排索引相关的配置，（是否可以被索引，Analyzed or Not Analyzed）
  • Mapping会把json的文档映射成lucene所需要的扁平格式
  • 一个Mapping属于一个索引的Type。
  • 从7版本开始，一个索引只能有一个Type
  • 所以一个mapping的定义呢只属于一个索引的一个Type。
  • 因为一个索引只有一个Type，所以不需要在Mapping中定义指定的Type信息了。

字段类型

  • 简单类型
    • Text/Keyword
    • Date
    • integer/Floating
    • Boolean
    • IPv4 & IPv6
  • 复杂类型
    • object类型
    • 嵌套类型
  • 特殊类型
    • geo_point
    • geo_shape
    • percolator
    • 等等

Dynamic Mapping

  • 如果写稿文档的时候，索引不存在，会自动创建索引
  • Dynamic Mapping的机制，使得我们无需手动定义Mappings。Elasticsearch 会自动根据文档信息推算出字段类型。
  • 但是经常会推算不对。
  • 类型不对时，会导致一些功能无法正常运行，例如Rangte查询。

能否更改Mapping的字段类型

  • 两种情况
    • 新增加字段
      • Dynamic 设为true时，一旦有新增字段的文档写入，Mapping也同时被更新。
      • Dynamic 设为false，Mapping不会被更新，新增字段的数据无法被索引。但是信息会出现在"_source"中。
      • Dynamic 设置成Strict，文档写入失败
    • 已有字段，一旦已经有数据写入，就不再支持修改字段定义
      • Lucene实现的倒排索引，一旦生成后，就不允许修改。
    • 如果希望改变字段类型，必需Reindex API,重建索引
  • 原因
    • 如果修改了字段的数据类型，会导致已被索引的属于无法被搜索
    • 但是如果是增加新的字段，就不会有这样的影响。

3.19节 显示Mapping设置与常见参数介绍

创建一个Mapping

PUT indices
{
	"mapping":{
	# define your mapping here.
	}
}

自定义Mapping的一些建议

  • 可能参考API手册，纯手写
  • 为了减少输入的工作量，减少出错率，可以按照以下步骤：
    • 创建一个临时的index，写入一些样本数据。
    • 通过访问Mapping API 获得该临时文件的动态Mapping定义。
    • 修改后用，使用该配置创建你的索引
    • 删除临时索引。

如果对一个字段设置好type的类型后，确定这个不需要索引的，可以“index":“false”

index Options：

  • 根据不同的需要，可以设置不同的index Options。可以控制倒排索引记录的内容
  • docs - 记录doc id
  • freqs - 记录doc id 和term frequencies.
  • positions - 记录 doc id / term frequencies / term position
  • offsets - doc id / term frequencies / term posistion / character offects.
  • Text类型默认记录positions,其它默认为docs。
  • 记录内容越多，占用存储空间越大。
"bio":{
	"type":"text",
	"index_options":"offsets"
}

null_value

如果需要对null这个值进行搜索，那么type需要设置为keyword类型，只有keyword类型支持设置null_value。

mobile:{
	"type": "keyword",
	"null_value":"NULL"
}

copy_to

  • _all 在7版本中被copy_to取代，
  • 满足一些特定的搜索需求
  • copy_to将字段的数值拷贝到目标字段，实现类似_all的作用
  • copy_to的目标字段不出现在_source中。

举个例子：

PUT users
{
	"mapping":{
		"properties":{
			"firstname":{
				"type":"text",
				"copy_to" "fullname"
			}
			"lastname":{
				"type":"text",
				"copy_to":"fullname"
				}
		}
	}
}

如上，意思就是将fistname与lastname的值都拷贝到fullname，

数组类型

  • Elasticsearch 中不提供专门的数组类型。 但是任何字段，都可以包含多个相同类类型的数值。
PUT users/_doc/1
{
	"name":"onebird",
	"interests":"reading"
}
PUT user/_doc/2
{
	"name":"twobirds",
	"interests": ["reading","music"]
}

3.20 多字段特性及Mapping中配置自定义Analyzer

  • 多字段特性
    • 厂商名字实现精确匹配
      • 增加一个keyword字段
    • 使用不同的analyzer
      • 不同语言
      • pinyin字段的搜索
      • 还支持为搜索和索引指定不同的analyzer
PUT products
{
	"mapping":{
		"properties":{
			"company":{
				"type":"text",
				"fields":{
					"keyword":{
						"type":"keyword",
						"ignore_above": 256
					}
				}
			}
			"comment":{
				"type":"text",
				"fields":{
					"english_comment":{
						"type":"text",
						"analyzer":"english",
						"search_analyzer":"english"
					}
				}
			}
		}
	}
}

Exact Values v.s Full Text

  • Exact values v.s Full Text
    • Exact Value:包括数字/ 日期 / 具体一个字符串（例如“Apple Store”）
      • Elasticsearch中的keyword
      • 精确值的不需要被分词，为每一个字段创建一个倒排索引，也不需要做特殊的分词处理。
    • 全文本，非结构化的文本数据
      • Elasticsearch 中text

自定义分词器

当Elasticsearch 自带的分词器无法满足时，可以自定义分词器，通过自组合不同的组件实现。
一些自带的Character Filters

  • HTML strip - 去除html的标签
  • Mapping - 字符串替换
  • Pattern replace - 正则匹配替换。
POST _analyze
{
	"tokenizer":"standard",
	"char_filter":[
		{
		"type":"mapping",
		"mappings":[":) => happy",":( => sad"]
		}
	],
	"text":["i am felling :)" , "Feeling :( today"]
}

{
  "tokens" : [
    {
      "token" : "i",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "<ALPHANUM>",
      "position" : 0
    },
    {
      "token" : "am",
      "start_offset" : 2,
      "end_offset" : 4,
      "type" : "<ALPHANUM>",
      "position" : 1
    },
    {
      "token" : "felling",
      "start_offset" : 5,
      "end_offset" : 12,
      "type" : "<ALPHANUM>",
      "position" : 2
    },
    {
      "token" : "happy",
      "start_offset" : 13,
      "end_offset" : 15,
      "type" : "<ALPHANUM>",
      "position" : 3
    },
    {
      "token" : "Feeling",
      "start_offset" : 16,
      "end_offset" : 23,
      "type" : "<ALPHANUM>",
      "position" : 104
    },
    {
      "token" : "sad",
      "start_offset" : 24,
      "end_offset" : 26,
      "type" : "<ALPHANUM>",
      "position" : 105
    },
    {
      "token" : "today",
      "start_offset" : 27,
      "end_offset" : 32,
      "type" : "<ALPHANUM>",
      "position" : 106
    }
  ]
}
正则表达式
GET _analyze
{
  "tokenizer": "standard",
  "char_filter": [
    {
    "type":"pattern_replace",
    "pattern":"http://(.*)",
    "replacement": "$1"
  }
  ],
  "text":"http://www.baidu.com"
}

结果：

{
  "tokens" : [
    {
      "token" : "www.baidu.com",
      "start_offset" : 0,
      "end_offset" : 20,
      "type" : "<ALPHANUM>",
      "position" : 0
    }
  ]
}

如上：该语法就把http://去掉了，只留一个纯网址。

tokenizer

POST _analyze
{
  "tokenizer": "path_hierarchy",
  "text":"/data/elasticsearch/log/server/err.log"
}

结果：

{
  "tokens" : [
    {
      "token" : "/data",
      "start_offset" : 0,
      "end_offset" : 5,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "/data/elasticsearch",
      "start_offset" : 0,
      "end_offset" : 19,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "/data/elasticsearch/log",
      "start_offset" : 0,
      "end_offset" : 23,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "/data/elasticsearch/log/server",
      "start_offset" : 0,
      "end_offset" : 30,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "/data/elasticsearch/log/server/err.log",
      "start_offset" : 0,
      "end_offset" : 38,
      "type" : "word",
      "position" : 0
    }
  ]
}

每一级目录都会被拆分出来

为索引创建一个analyzer

PUT my_index
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_custom_analyzer":{
          "type":"custome",
          "char_filter":["emotions"],
          "tokenizer":"punctuation",
          "filter":[
            "lowercase",
            "english_stop"
            ]
        }
      },
      "tokenizer": {
        "punctuation":{
          "type":"pattern",
          "pattern":"[.,!?]"
        }
      }
    }
  }
}

3.21 Index Template 和 Dynamic Template

  • Index Templates - 帮助你设定Mappings 和Settings，并按照一定的规则，自动匹配到新创建的索引之上
    • 模板仅在一个索引被创建时，才会产生作用，修改模板不会影响已经创建的索引。
    • 你可以设定多个索引模板，这些设置会被“merge”在一起。
    • 你可以指定“order”的数值，控制"merging"的过程。
  • Dynamic Template
    • 根据Elasticsearch识别数据类型，结合字段名称，来动态设定字段类型
    • 所有的字符串类型都设定成keyword，或者关闭keyword字段。
    • is开头的字段都设置成boolean
    • long_ 开头的都设置成long类型。
    • dynamic template是应用在具体的一个索引上的，而不是用于创建索引的。

3.22 Elasticsearch 聚合分析简介

集合的分类：

  • Bucket Aggregation - 一些列满足特定条件的文档的集合
  • Metric Aggregation - 一些数学运算，可以对文档字段进行统计分析
  • Pipeline Aggregation - 对其它的聚合结果进行二次聚合
  • Matrix Aggregration - 支持对多个字段的操作并提供一个结果矩阵

Bucket 与 Metric

Bucket 相当于sql里面的group，一组满足条件的文档
Metric 相当于一系列的统计算法。

Metric

  • Metric 会基于数据集计算结果，除了支持在字段上进行计算，同时也支持在脚本（painless script）产生结果之上进行计算
  • 大多数Metric是数学计算，仅输出一个值（min/max/sum/avg/cardinality）
  • 部分metric 支持输出多个数值（stats/percentiles/percentile_ranks）
Fei-Huang
关注
专栏目录
elasticsearch painless脚本使用（附demo及painless API）
HiterCoder
12-26 2万+
Kibana 提供了一些强大的方法，用于搜索和可视化 Elasticsearch 中存储的数据。为了实现可视化，Kibana 会搜索 Elasticsearch mapping 中定义的 field，并以图表的形式将它们作为选项呈现给用户。但是，如果你忘记在 schema 中将一个重要的值定义为单独的 field 会怎么样呢？或者，如果你想把两个 field 合并到一起该怎么办呢？这时就可以使用
杂记 - TypeScript 4.2
XieJay97的博客
05-24 408
未指定类型且无法推测, 类型隐式为any 某类型具有明确子分类时, 应当常见创建子类型声明 type Combine: Block1 | Block2 尽量不使用断言 ! ? 常用的针对多类型缩小范围 typeof in instanceof parameterName is Type, 文档看起来很有用? 如果函数不声明返回类型, 会根据return语句自动推断, 无return或仅有return为void void代表返回值被忽略, 实际上仍然可以return任何值 函数泛型 约束类
图像拼接的文献综述 共8篇，包含经典的Image alignment and stitching- A tutorial
01-08
图像拼接的文献综述 共8篇,两篇中午，6篇英文，包含经典的Image alignment and stitching- A tutorial，值得一读。综述基本详细介绍和分析了图像拼接的整个流程、原理：包括特征检测、匹配（配准）、运动模型（相机模型估计、绑定捆绑），投影变换、图像融合等。非常丰富！
Elasticsearch深入搜索-杂记
HuangFei
09-29 150
4.24 基于词荐和基于全文的搜索 基于term的查询 Term的重要性 Term是表达语意的最小单位。搜索和利用统计语言模型进行自然语言处理都需要处理Term 特点 Term Level Query: Term Query / Range Query / Exists Query / Prefix Query / Wildcard Query 在ES中，Term查询，对输入不做分词。会将输入做为一个整体，在倒排索引中查找准确的词项，并且使用相关度算分公式为每个包含该词项的文档进行相关度算分 -.
2021-07-11
Amrf的博客
07-11 406
前端杂记 关闭ie输入自动检测1如何禁止IE自动生成链接 encodeURIComponent不转义单引号 js object2string js变长参数 How can I include a js file into another js file ie11和edge浏览器下REM的bug Java杂记（一） [原]时间格式化hh:mm:ss和HH:mm:ss区别 详解java定时任务 How to disable specific apps from starting during
杂记----
热门推荐
Shanfenglan's blog
12-04 5万+
1.echo命令会覆盖之前文件里面的东西
docker-compose es7安装杂记
zhanganggang的博客
02-29 735
echo 'vm.max_map_count=262144'>/etc/sysctl.conf & sysctl -p docker-compose down -v & docker-compose up docker compose主要就是用在单台机器上的。多机器的，因该需要docker swam或者是kubernetes。 如果需要针对docker容器中的ES安装插件，...
飞天使-elk手动搭建杂记
最新发布
飞天使的博客
06-09 99
remove_field => ["beat","offset","tags","prospector"] #移除字段，不需要采集。match => ["timestamp", "dd/MMM/yyyy:HH:mm:ss Z"] #匹配timestamp字段。target => "@timestamp" #将匹配到的数据写到@timestamp字段中。password => "x x x x" #如果没有密码不需要写这个参数。logstash.conf 配置信息。# 从文件读取日志信息。
Elasticsearch Date Math&ILM 杂记
123
01-19 1493
1、在使用Date Math 时，最好指定时区信息，否则会导致解析的时间晚8个小时 场景：create Index,alias query 等可以使用Date Math的场景 错误样例： GET <index_name_prefix-{now/d{YYYY-MM-dd*}>/_alias/alias_name PUT <index_name_prefix-{now/d{YYYY-MM-dd}> 正确： GET <index_name_prefix-{now/d{YYYY-MM-
杂记--《汇编语音（第3版）+》
Fly_Sky
02-09 219
17-21-32-(35)(45)(58)59-(61)(75)95-(108)(127)132-(142)(146)159-(172)181-(185+)187-192-（195）-(199)-(206)242-（250）-（262） -(269)(277)-（354） review： （32） 0-7H  RAM 8-9H  显存 a-fH  ROM 条件转移：jmp
JS笔记-By Ly.md
02-14
#### 1. JS的引入问题 在HTML5标准中，`<script>`标签不再需要添加`language`或`type`属性，这是因为这些属性在HTML4及更早版本中使用，现在已经过时。 - **`<script>`标签的基本用法** - `<script>`标签用于在...
leetcode上升的温度-giantfoot.github.io:博客
07-01
Elasticsearch Java 查漏补缺 算法练习总结 动态规划 数据结构系统梳理 JVM 相关知识梳理 Spring 源码解析 SpringCloud 使用总结 Hadoop 学习笔记 Python 学习总计 Resis MongoDB Kafka Rabbit Git 使用笔记整理 ...
杂记-Android Studio 2.2 新功能
wzgiceman
09-27 9376
AS 2.2 新功能 Android产品经理Jamal Eason在开发者博客文章中总结了本次更新的内容，主要集中在速度、智能和Android平台支持三个方面 大概的尝试了下2.2的新功能，有些功能还是很吊的，所以分享给大家编辑器布局 组件板：提供了你可以拖拽到布局编辑器中的控件列表 组件树：显示了布局的层次图。在这里点击会看到组件在编辑视图中被选中。 工具栏：提供了改变布局的按钮和编辑布局的属
Zabbix Error - zabbix agent 无法启动解决办法
HuangFei
06-17 1万+
文章目录systemctl start zabbix-agent2查看zabbix日志错误提示无权限，查看/tmp的权限/tmp 目录权限与属主属组确实错误，需要改正再次启动(已经正常) systemctl start zabbix-agent2 [root@slave zabbix]# systemctl start zabbix-agent2 [root@slave zabbix]# systemctl status zabbix-agent2 ● zabbix-agent2.service - Zab
zabbix 使用企业微信群机器人，使用markdown消息艾特群成员（@群成员）发送告警消息
HuangFei
08-07 5632
本例只只包含代码，具体步骤可稳步至另外一篇博客查看 https://blog.csdn.net/Huangfei10086/article/details/107713060 将上篇文章中的代码换成如下代码即可 脚本如下： #!/usr/bin/python3.6 #_*_coding:utf-8 _*_ #auther:Fei Huang import requests,sys,json,time import urllib3 urllib3.disable_warnings() def SendMe
Zabbix Basic -zabbix 使用python脚本调用群企业微信机器人将告警信息发送至“企业微信”群中，并@指定人员（提醒指定人员查看）
HuangFei
07-31 5115
文章目录申请企业微信（略）创建企业微信群（略）添加群机器人（企业微信手机端）企业微信官网关于群机器人的配置说明请点击跳转查看复制以下代码到zabbix报警脚本存放路径进入到zabbix报警脚本存放路径创建python脚本文件按“i”键进入vim编辑器的插入模式，并粘贴以下代码（需要修改机器人的webhook的地址）修改脚本的执行权限测试发送消息脚本执行的格式开始测试(测试过程可省略)结果如下提醒某人查看（本例中需要提醒用户的账号为：test）结果如下zabbix 添加告警源（本示例中为zabbix-5.0.
CentOS 7 从0 开始部署Kubernetes （K8S安装）1.21版本最新版本安装
HuangFei
07-09 4006
文章目录部署环境介绍先决条件配置官网安装指引一，安装底层容器环境-Docker CE 3:20.10.7(所有节点都安装)1.1 从Docker 官方YUM仓库中安装1.2 安装Docker-CE1.3 启动Docker1.4 运行Docker-容器环境1.5 使用systemd(systemctl )管理container的cgroup，需额外配置Docker的守护进程1.6 将Docker 设置为服务器开机自启动二. 使用部署工具（Deployment tools）安装Kubernetes2.1 安装k
Zabbix Basic - 企业微信群机器人 使用markdown 发送带颜色的告警消息
HuangFei
07-31 3519
文章目录代码片（直接复制粘贴 替换机器人的webhook即可）具体使用方式可点击此博客链接 代码片（直接复制粘贴 替换机器人的webhook即可） #!/usr/bin/python3.6 #_*_coding:utf-8 _*_ #auther:Fei Huang import requests,sys,json,time import urllib3 urllib3.disable_warnings() def SendMessageURL(User,Subject,Messages): #
Linux Basic - vim编辑器中 给指定的一段文本行前或者全文所有行添加#号或者其它符号
HuangFei
07-06 1839
相关代码 vim编辑器进入末行模式后的代码： #,#s/^ /#/g 第一个#：表示起始的行 第二个#：表示结束的行 示例： 54,62s/^ /#/g 从54行到62行的行首添加一个“#”号
Elasticsearch-head插件使用与配置指南
标签中提到的 'Elasticsearch-he', '谷歌ES' 和 'ES-head' 都是对 Elasticsearch Head 的不同称呼。'谷歌ES' 可能是指 Google 推荐或使用 Elasticsearch 进行搜索解决方案，因为 Elasticsearch 的功能与 Google 的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值