Elasticsearch技术详解与实战

最新推荐文章于 2021-01-25 14:26:48 发布

weixin_30898109

最新推荐文章于 2021-01-25 14:26:48 发布

阅读量95

点赞数

原文链接：http://www.cnblogs.com/xiaotao13725566749/p/9003028.html

版权

基于lucene倒排索引

关键词索引，查询

处理语句（由Analyzer完成）

怎么处理单词的分割（逗号，空格，特殊字符）
过滤不必要的单词
统一大小写
一些单词的复数，进行时，过去时，统一处理
.过滤标点符号

建立倒排索引（统计单词出现的评率，及所在的文章）

关键词	文章号[出现频率]	出现位置
guangzhou	1[2]	[3,6]
live	1[2],2[1]	[1,2] [2]
shanghai	2[1]	[3]
tom	1[1]	[2]

live 文章1出现了2次，文章2出现了1次

术语及概念

索引词（term）　　　　　　能进行精确搜索

文本（text）　　　　　　　文本是一段普通的非结构化文字，文本会被分析成一个个索引词。当搜索时可以根据关键词进行查询，搜索出原文本

分析（analysis）　　　　　分析是将文本转换为索引词的过程，分析结构依赖于分词器

集群（cluster）　　　　　　集群是由一个或多个节点组成，对外提供服务。　

节点（node）　　　　　　是一个逻辑上独立的服务，是集群中的一部分

路由（routing）　　　　　当存储一个文档的时候，它会存在唯一的主分片，具体哪个分片是通过散列值进行选择的。默认情况下由文档ID生成

分片（shard）　　　　　　是单个Lucene实例，索引是指向主分片和副分片的逻辑空间

主分片（primary sahrd）　默认情况下一个索引有5个分片，分片一旦建立，则分片的数量不能修改

副本分片（replica shard）每一个分片有零个或多个副本

复制（replica）　　　　　避免单点问题，提高可用性

索引（index）　　　　　　具有相同结构文档的集合（数据库）

类型（type）　　　　　　一个索引下可以定义一个或多个类型（表）

文档（document）　　　存储在elasticsearch中的json格式字符串

映射（mapping）　　　定义了索引中每一个字段的类型

字段（field）　　　　　　文档中包含零个或多个字段

来源字段（source field）默认情况下原文档将会被存储在_source这个字段中，当你查询的时候也是返回这个字段

主键（ID）　　　　　　文件的唯一标识，如果没有系统会自动生成一个

参数约定

通用参数

pretty　　　　　　　　　　?prettty　　　　　　让返回的参数容易看（格式化json数据）　

human　　　　　　　　　 ?human　　　　　　统计数据

日期表达式　　　　　　　gt（大于） lt（小于）

　　　　　　　　　　　　+1h　　　　　　　　增加一小时

　　　　　　　　　　　　-1h　　　　　　　　减少一个小时

　　　　　　　　　　　　/h　　　　　　　　上一个小时

　　　　　　　　　　　　y（年） M（月） w（周） d（日） h（小时） m(分钟) s（秒）

　　　　　　　　　　　　now+1h　　　　　　当前时间加一个小时

　　　　　　　　　　　　now+1h+1m　　　　当前时间加一个小时1分钟

　　　　　　　　　　　　now+1h/d　　　　　当前时间加一个小时，四舍五入到最近一天

相应过滤　　　　　　　通过filter_path来减少返回值的内容，多个值可以用逗号隔开(返回的是指定的内容)

　　　　　　　　　　　　curl -XGET ‘127.0.0.1：9200/search?pretty&filter_path=took,hits.hists._id,hits._score’

Rest介绍

Rest请求头

Http方法	数据处理	说明
POST	Create	新增一个没有id的资源
GET	Read	取得一个资源
PUT	Update	更新一个资源，或新增一个含id的资源
DELETE	Delete	删除一个资源

索引

创建索引

PUT http://localhost:9200/website/

{
	"settings":{
		"index":{
			"number_of_shards":3,
			"number_of_replicas":2
		}
	}
}

　　获取索引信息

GET http://localhost:9200/secisland/

打开/关闭索引

打开/关闭索引接口允许关闭一个打开的索引或者打开一个关闭的索引。关闭的索引只能显示索引的元数据信息。不能进行读写操作

POST http://localhost:9200/secisland/_close           或者_open

增加映射

https://segmentfault.com/a/1190000008897731(注意6.0和之前版本的类型不同的问题)

https://blog.csdn.net/jianblog/article/details/54928286　(对一个field设置多种索引方式)

https://www.elastic.co/guide/en/elasticsearch/reference/current/removal-of-types.html (6.x之后不支持多个mapping)

put http://tencent7:9200/secisland/

{
	"mappings":{
		"log":{
			"properties":{
				"message":{
					"type":"string"
				}
			}
		}
	}	
}

向secisland添加文档类型为log，包含字段message

6.x
{
    "mappings":{
        "log":{
            "properties":{
                "message":{
                    "type":"text",
                    "analyzer": "standard"
                }
            }
        }
    }    
}

也可以这样

put http://tencent7:9200/secisland/_mapping/log/
{
    "properties":{
            "message":{
                "type":"text",
                "analyzer": "standard"
            }
    }
}

设置索引的多个type（如果要在type下面添加一个或多个属性使用上面的方法）

http://tencent7:9200/secisland/
{
	"mappings":{
		"user":{
			"properties":{
				"name":{
					"first":{
						"type":"string"
					}
				},
				"user_id":{
					"type":"string",
					"index":"not_analyzed"
				}
			}
		}
	}
}

6.x
{
    "mappings":{
        "user":{
            "properties":{
                "user_id":{
                    "type":"text",
                    "index": true
                },
                "name":{
                    "properties":{
                        "lastname":{
                             "type":"text",
                            "index": true
                        }
                    }
                }
            }
        }
    }    
}

获取映射

GET http://localhost:9200/{index}/_mapping/{index}　　　　　{index}可以接受逗号分隔符也可以使用_all来表示全部索引


GET http://localhost:9200/secisland/_mapping/user　　　　　　获取指定类型的映射

GET http://localhost:9200/_all/_mapping/user,skill

索引别名(类似数据库的视图，用法也和直接查询索引一样)

elasticsearch可以对一个或者多个索引指定别名，通过别名可以查询到一个或者多个索引的内容。elasticsearch会自动把别名映射到相应的索引上。在系统中别名不能重复，也不能喝索引名重复。

https://www.cnblogs.com/rainwang/p/6062650.html（介绍索引用法）

增加别名

http://tencent7:9200/_aliases
{
    "actions":[{"add":{"index":"secisland","aliases":"aliases1"}}]
}

删除别名

http://tencent7:9200/_aliases

{
    "actions":[{"remove":{"index":"secisland","aliases":"aliases1"}}]
}

没有修改别名的语法，只有先删除后增加

一个别名关联多个索引

post http://tencent7:9200/_aliases
{
    "actions":[{"add":{"indices":["secisland","secisland2"],"aliases":"aliases1"}}]
}

过滤索引别名（只能看到被指定的）

post http://tencent7:9200/_aliases
{
    "actions":[
        {
            "add":{
                "index":"test1",
                "alias":"alias2",
                "filter":{
                    "term":{
                        "user":"kimchy"
                    }
                }
            }
        }
        ]
}

路由

https://blog.csdn.net/u010454030/article/details/73554652 介绍路由的文章

别名也可以和路由相关联，一起使用

post http://tencent7:9200/_aliases
{
    "actions":[
        {
            "add":{
                "index":"test2",
                "alias":"alias3",
                "filter":{
                    "term":{
                        "user":"kimchy"
                    }
                },
                "routing":"1"
            }
        }
        ]
}

删除别名

DELETE http://{host}:{port}/{index}/_alias/{name}

查询现有的别名

GET http://{host}:{port}/{index}/_alias/*

更新索引配置

put http://tencent5:9200/test1/_settings
{
    "index":{
        "number_of_replicas":2
    }
}

更新分词器（需要先关闭索引）

post http://tencent5:9200/test1/_close

post http://tencent5:9200/test1/_close

put  http://tencent5:9200/test1/_settings
{
    "analysis":{
        "analyzer":{
            "content":{
                "type":"custom",
                "tokenizer":"whitespace"
            }
        }
    }
}

post http://tencent5:9200/test1/_open

获取索引配置

get http://tencent5:9200/test1/_settings
http://tencent5:9200/test1/_settings

自定义分析器

测试分析器

post http://tencent5:9200/_analyze
{
    "analyzer":"standard",
    "text":"this is a test"
}

使用标准的分词器解析文档 "this is a test"

重建索引

https://www.jianshu.com/p/a46fc9fce199

http://donlianli.iteye.com/blog/1924721

索引分片

提供lucene索引所在的分片信息，可以用来提供分片和索引的更多统计信息

get http://tencent5:9200/xiaotao/_segments

              "_1" : {
                "generation" : 1,
                "num_docs" : 1,
                "deleted_docs" : 0,
                "size_in_bytes" : 4474,
                "memory_in_bytes" : 2212,
                "committed" : true,
                "search" : true,
                "version" : "7.2.1",
                "compound" : true,
                "attributes" : {
                  "Lucene50StoredFieldsFormat.mode" : "BEST_SPEED"
                }


_1　　　　　　　　　　　　JSON文档的键名，代表分片的名称。这个名用来生成文档名，分片目录中所有以分片名开头的文档属于这个分片
generation　　　　　 　　需要写新的分片时生成的一个数字，基本上是递增的。分片名从这个生成的数字派生出来
num_docs　　　　　　 　　存储在分片中没被删除的文档数量
delete_docs　　　　 　　存储在分片中被删除的文档数量。
size_in_bytes　　　 　　用来表示使用的磁盘空间数量
memory_in_byte　　　　　分片需要一些数据存储在内存中使搜索更高效
commit　　　　　　　　　 表示分片在磁盘上是否同步
search　　　　　　　　　 分片是否可进行搜索
version　　　　　　　　  用来写这个分片lucene版本
compound　　　　　　　　 分片是否存储在符合文件中

状态管理

清除缓存

post http://tencent5:9200/xiaotao/_cache/clear

索引刷新

post http://tencent5:9200/xiaotao/_refresh

索引冲洗

索引主要通过执行冲洗将数据保存到索引存储并且清除内部事务日志，以此来释放索引空间的内存空间

post http://tencent5:9200/xiaotao/_flush

文档管理

映射

概念

元字段： _index字段　　_type字段　　_id字段　　_source字段

字段或属性：每个映射类型包含与类型相关的字段或属性列表。同一索引中不同映射类型的相同名称字段必须拥有相同的映射

数据类型

https://blog.csdn.net/chengyuqiang/article/details/79048800

字符串类型

string　　　　　　　　　　从es5.x之后就不在支持string，由text和keyword替代

text　　　　　　　　　　　当一个字段要被全文搜索，设置为text会更加容易被分析

keyword　　　　　　　　 keyword适用于结构化的字段，keyword只能通过精确值搜索到

整数类型

byte　　　　　　　　　　 -128~127

short　　　　　　　　　　-32768~32767

integer　　　　　　　　　-2^31~2^31-1

long　　　　　　　　　　-2^63~2^63-1

浮点类型

double　　　　　　　　　64位双精度

float　　　　　　　　　　 32位单精度

half_float　　　　　　　　16位半精度

scaled_float　　　　　　　缩放类型的浮点数

data类型

日期表现格式　　　　　　 "2018-01-13"

long类型的毫秒数　　　　

integer的秒数

ip类型

ip类型用于存储IPV4或者IPV6地址

地理点数据类型

geo_point　　　　　　　　

动态映射

字段和映射的类型可以在使用前不需要事先定义。依靠动态映射，通过索引文档，新的映射类型和字段名会自动添加

更新映射

除了记录之外，现有的映射类型和字段不能更新。修改映射意味着废弃已经索引的文档，应该根据映射创建新的索引并且重新索引数据

常见的元字段

https://blog.csdn.net/napoay/article/details/62233031 (常见属性的详解)

标识元字段

参数	说明
_index	文档所属的索引
_uid	包含_type和_id的混合字段
_type	文档的映射字段
_id	文档的ID

文档来源元字段

参数	说明
_source	作为文档内容的原始JSON
_size	_source元字段占用的字节数

索引元字段

参数	说明
_all	索引所有字段值
_field_names	文档中所有包含非空值的字段
_timestamp	关联文章的时间戳
_ttl	文档被自动删除之前的存活时间

_all字段是一个特殊包含全部内容的字段，在一个大字符串中关联所有其他字段的值，使用空格作为分隔符，可以被分析和索引但不会被存储，使用_all字段可以对文档的值进行搜索而不要知道包含所需值的字段名

post http://tencent5:9200/milk/employee　　　　　　先插入一段数据
{
    "firstname":"Jhone",
    "lastname":"Smith",
    "data_of_birth":"1970-10-23"
}


利用_all字段进行搜索
get http://tencent5:9200/milk/_search
{
　　"query":{"match":{"_all":"john smith 1970"}}
}


但6.x不支持 _all
Enabling [_all] is disabled in 6.0. As a replacement, you can use [copy_to] on mapping fields to create your own catch all field.

路由元字段

参数	说明
_parent	用于在映射类型之间创建父子关系
_routing	一个自定义的路由值，路由文档到一个特定的分片

_parent字段 6.x已经被移除

其他元字段

参数	说明
_meta	应用特定的元字段

转载于:https://www.cnblogs.com/xiaotao13725566749/p/9003028.html

weixin_30898109

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
Elasticsearch技术详解与实战

基于lucene倒排索引关键词索引，查询处理语句（由Analyzer完成）怎么处理单词的分割（逗号，空格，特殊字符）过滤不必要的单词统一大小写一些单词的复数，进行时，过去时，统一处理.过滤标点符号建立倒排索引（统计单词出现的评率，及所在的文章）关键词文章号[出现频率]出现位置guangzhou1[2][3,6...
复制链接

扫一扫