ElasticSearch应用
当前业务查询有一定的实时性要求,但是目前查询较为缓慢;
当前业务查询使用数据库进行查询,数据库表数据量较大,这种大数据量的查询比较耗时;
那么,如何优化当前的业务,达到快速查询的目的;
目前行业内使用es搜索引擎可满足业务需要
如何使用–》
表字段信息如何维护?
创建索引文件、mapping
文件维护字段信息;
创建索引:
{
"settings": {
"index": {
"number_of_shards": "5", //分片数
"number_of_replicas": "1" //副本数
}
}
}
mapping
文件模板:
{
"mappings": {
"_all": {
"norms": "false", //设置不参与搜索结果打分
"enabled": "false" //_all字段会增加索引时间和索引长度
},
"_source": {
"enabled": "true"//原始文档
},
//true:动态映射,动态添加新的字段
//false:静态映射,忽略新的字段
//strict:严格模式,如果遇到新的字段会抛出异常
"dynamic": "strict",
"properties": {
"column1": {
"type": "keyword"//存储数据的时候建立索引,但不分词
},
"column2": {
"type": "date"
},
"column3": {
"type": "text"//存储数据的时候建立索引,同时分词
},
"column4": {
"type": "text",
"index": "false" //不参与搜索
}
}
}
}
数据写入
(1)增量写数据:新增;
(2)删除数据,根据id删除;
(3)部分更新;
疑问:如果有字段信息变化,如何同步?
已有的字段,如果已经有数据写入,不支持修改其数据类型,如果要修改,需要重建索引;
新增字段,没有影响;
重建索引
根据现有的索引别名,创建新的临时索引别名-》创建新的索引
-》往新的索引里面写数据
-》索引替换,将索引别名加到新索引上,并删除老索引
然后呢,重建索引如何处理历史数据?
全量同步+增量同步
(1)历史全量数据
处理方式:全量数据进行分页多线程异步处理;
(2)查询一分钟前到现在有无增量数据,有则处理
数据存储:
索引分片:根据数据量做分片
如何检索数据?
构建查询字段对象
{
"column1": [
"all"
],
"column2": [
"all"
],
"column3": [
"8715900737400193117",
"8715900737400193118",
],
"column4": [
"3"
],
"column5": "6979838166774483893"
}
查询方式:
-
match:分词匹配
-
term:全词匹配,