随记 elasticsearch

最新推荐文章于 2024-01-05 17:04:00 发布
置顶 最新推荐文章于 2024-01-05 17:04:00 发布
阅读量134 收藏
点赞数
分类专栏： java 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nishuiaee/article/details/106837707
版权

mysql自增主键在大量删除后如何重新设置避免断层
@ResponseBody的作用
@Transactional 注解，要么都成功要么都失败

bin/elasticsearch 启动elasticsearch
netstat -an | grep 9200 查看elasticsearch默认9200端口
bin/kibana 启动kibana
bin/elasticsearch -d 后台启动
tail -f dianping-app.log
kill -9
bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.3.0/elasticsearch-analysis-ik-7.3.0.zip

bin/logstash-plugin install logstash-input-jdbc

./logstash -f mysql/jdbc.conf

//增加 my.cnf配置
server-id = 1
binlog_format = ROW
log_bin = mysql_bin

show variables like ‘log_bin’; 开启logbin
mvn clean package -DskipTests

GET /shop/_search

//非结构化新建索引

PUT /movie
{
  "settings": {
    "number_of_shards": 1,
    "number_of_replicas": 1
  },
  "mappings": {
    "properties": {
      "title":{"type":"text","analyzer": "english"},
      "tagline":{"type":"text","analyzer": "english"},
      "release_date":{"type":"date","format": "8yyyy/MM/dd||yyyy/M/dd||yyyy/MM/d||yyyy/M/d"},
      "popularity":{"type":"double"},
      "overview":{"type":"text","analyzer": "english"},
      "cast":{
        "type":"object",
        "properties": {
          "character":{"type":"text","analyzer":"standard"},
          "name":{"type":"text","analyzer":"standard"}
        }
      }
    }
  }
}

//搜索内容match

GET /movie/_search
{
  "query": {
    "match": {
      "title": "steve"
    }
  }
}

//term 查询 不进行分词分析，直接去索引内查询

GET /movie/_search
{
  "query": {
    "term":{"title":"steve zissou"}
  }
}

//分词后的and和or逻辑 match 默认使用的是or

GET /movie/_search
{
  "query":{
    "match": {
      "title": "basketball with cartoom aliens"
    }
  }
}

// 改成and

GET /movie/_search
{
  "query":{
    "match": {
      "title": "basketball with cartoom aliens",
      "operator": "and"
    }
  }
}

//最小词匹配项

GET /movie/_search
{
  "query":{
    "match": {
      "title": {
        "query":"basketball love aliens",
        "operator": "or",
        "minimum_should_match": 2
      }
    }
  }
}

//短语查询

GET /movie/_search
{
  "query": {
    "match": {
      "title": "steve zissou"
    }
  }  
}

GET /movie/_analyze
{
  "field": "title",
  "text":"steven zissou"
}

GET /movie/_search
{
  "explain": true, 
  "query": {
    "term":{"title":"steve"}
  }
}

#多字段查询

GET /movie/_search
{
  "query":{
    "multi_match": {
      "query": "basketball with cartoom aliens",
      "fields": ["title","overview"]
    }
  }
}

#优化多字段查询

GET /movie/_search
{
  "explain": true, 
  "query":{
    "multi_match": {
      "query": "basketball with cartoom aliens",
      "fields": ["title^10","overview"],
      "tie_breaker": 0.3
    }
  }
}

#bool查询
#must:必须都为true
#should:其中只有一个为true即可
#为true的越多则得分越高

GET /movie/_search
{
  "query": {
    "bool":{
      "should":[
          {"match":{"title":"basketball with cartoom aliens"}},
          {"match": {
            "overview": "basketball with cartoom aliens"}
          }
        ]
    }
  }
}

#不同的multi_query其实是有不同的type
#best_fields:默认的得分方式,取得最高的分数作为对应文档的对应分数,“最匹配模式”,dis_max

GET /movie/_search
{
  "explain": true,
  "query":{
    "multi_match": {
      "query": "basketball with cartoom aliens",
      "fields": ["title","overview"],
      "type":"best_fields"
    }
  }
}
GET /movie/_search
{
  "explain": true, 
  "query": {
    "dis_max":{
      "queries":[
          {"match":{"title":"basketball with cartoom aliens"}},
          {"match": {
            "overview": "basketball with cartoom aliens"}
          }
        ]
    }
  }
}

#most_fields:考虑绝大多数（所有的）文档的字段得分相加获得想要的结果

GET /movie/_search
{
  "explain": true,
  "query":{
    "multi_match": {
      "query": "basketball with cartoom aliens",
      "fields": ["title^10","overview^0.1"],
      "type":"most_fields"
    }
  }
}
GET /movie/_validate/query?explain
{
  "query": {
    "multi_match": {
      "query": "basketball with cartoom alien",
      "fields": ["title^10","overview^0.1"],
      "type":"most_fields"
    }
  }
}

#cross_fields:以分词为单位计算栏位的总分,适用于词导向的匹配

GET /movie/_search
{
  "explain": true,
  "query":{
    "multi_match": {
      "query": "steve job",
      "fields": ["title","overview"],
      "type":"cross_fields"
    }
  }
}

#query string 
#方便的利用 and or not
GET /movie/_search
{
  "query": {
    "query_string": {
      "fields":["title"],
      "query": "steve OR jobs"
    }
  }
}

#filter过滤查询
#单条件过滤

GET /movie/_search
{
  "query":{
    "bool":{
      "filter": {
        "term": {
          "title": "steve"
        }
      }
    }
  }
}

#多条件过滤

GET /movie/_search
{
  "query":{
    "bool":{
      "filter": [
        {"term":{"title":"steve"}},
        {"term":{"cast.name":"gaspard"}},
        {"range":{"release_date": {"lte":"2015/01/01"}}},
        {"range":{"popularity":{"gte":"25"}}}
        ]
    }
  },
  "sort":[
      {"popularity": {"order":"desc"}}
    ]
}
#带match打分的filter
GET /movie/_search
{
  "query": {
    "bool":{
      "must":[
        {"match":{"title":"Search"}},
        {"match": {
          "title": "ElasticSearch"
        }}
        ],
      "filter": [
        {"term":{"title":"steve"}}, 
        {"term":{"cast.name":"gaspard"}},
        {"range": { "release_date": { "lte": "2015/01/01" }}}, 
        {"range": { "popularity": { "gte": "25" }}}
        ]
    }
  }
}

#functionscore

GET /movie/_search
{
  "explain": true, 
  "query": {
    "function_score": {
      "query": {
        "multi_match": {
          "query": "steve job",
          "fields": ["title","overview"],
          "operator":"or",
          "type":"most_fields"
          }
      },
      "functions": [
        {
          "field_value_factor": {
            "field": "popularity",
            "modifier": "log2p",
            "factor": 10
          }
        },
        {
          "field_value_factor": {
            "field": "popularity"
            , "modifier": "log2p",
            "factor": 5
          }
        }
      ],
      "score_mode": "sum",
      "boost_mode": "sum" 
    }
  }
}

#测试ik分词器,智能分词法

GET _analyze?pretty
{
	"analyzer":"ik_smart",
	"text":"中华人民共和国国歌"
}

#最大化分词

GET _analyze?pretty
{
	"analyzer":"ik_max_word",
	"text":"中华人民共和国国歌"
}

#最佳实践：索引的时候使用max_word 查询的时候使用smartword

#创建shop索引

PUT /shop
{
  "settings" : { 
    "number_of_shards" : 1,        
    "number_of_replicas" : 1
  },
  "mappings": {
    "properties": {
      "id":{"type":"integer"},
      "name":{"type":"text","analyzer": "ik_max_word","search_analyzer":"ik_smart"}, 
      "tags":{"type":"text","analyzer": "whitespace","fielddata":true}, 
      "location":{"type":"geo_point"},
      "remark_score":{"type":"double"},
      "price_per_man":{"type":"integer"},
      "category_id":{"type":"integer"},
      "category_name":{"type":"keyword"},
      "seller_id":{"type":"integer"},
      "seller_remark_score":{"type":"double"},
      "seller_disabled_flag":{"type":"integer"}
    } 
  }
}

GET /shop/_search
{
  "query":{
    "multi_match": {
      "query": "凯悦",
      "fields": ["name"]
    }
  }
}

GET /shop/_analyze
{
  "analyzer": "ik_smart",
  "text":"凯悦"
}

GET /shop/_analyze
{
  "analyzer": "ik_max_word",
  "text":"花悦庭果木烤鸭"
}

#带上距离字段
GET /shop/_search
{
  "query": {
    "match": {
      "name": "凯悦"
    }
  },
  "_source":"*",
  "script_fields": {
    "distance":{
      "script":{
        "source":"haversin(lat,lon,doc['location'].lat,doc['location'].lon)",
        "lang":"expression",
        "params":{"lat":31.37,"lon":127.12}
      }
    }
  }
}

#排序
GET /shop/_search
{
  "query": {
    "match": {
      "name": "凯悦"
    }
  },
  "_source":"*",
  "script_fields": {
    "distance":{
      "script":{
        "source":"haversin(lat,lon,doc['location'].lat,doc['location'].lon)",
        "lang":"expression",
        "params":{"lat":31.37,"lon":127.12}
      }
    }
  },
  "sort":[
    {
      "_geo_distance": {
        "location": {
          "lat": 31.37,
          "lon": 127.12
        },
        "order": "asc",
        "unit":"km",
        "distance_type": "arc"
      }
    }
    ]
}

#使用 function score 解决排序模型
#加入酒店类目过滤
GET /shop/_search
{
  "_source":"*",
  "script_fields": {
    "distance":{
      "script":{
        "source":"haversin(lat,lon,doc['location'].lat,doc['location'].lon)",
        "lang":"expression",
        "params":{"lat":31.23916171,"lon":121.48789949}
      }
    }
  },
  "query":{
    "function_score": {
      "query": {
        "bool":{
          "must":[
            {"match":{"name":{"query":"凯悦","boost":"0.1"}}},
            {"term":{"seller_disabled_flag": 0}},
           {"term":{"category_id":2}}
          ]
        }
      },
      "functions": [
        {
          "gauss": {
            "location": {
              "origin": "31.23916171,121.48789949",
              "scale": "100km",
              "offset":"0km",
              "decay":0.5
            }
          },
          "weight": 9
        },
        {
          "field_value_factor": {
            "field": "remark_score"
          },
          "weight": 0.2
        },
        {
          "field_value_factor": {
            "field": "seller_remark_score"
          },
          "weight": 0.2
        }
      ],
      "score_mode": "sum",
      "boost_mode": "sum"
    }
  },
  "sort": [
    {
      "_score": {
        "order": "desc"
      }
    }
  ],
  "aggs":{
    "group_by_tags":{
      "terms":{
        "field":"tags"
      }
    }
  }
}

#加入同义词
PUT /shop
{
  "settings" : { 
    "number_of_shards" : 1,        
    "number_of_replicas" : 1,
    "analysis":{
      "filter":{
        "my_synonym_filter":{
          "type":"synonym",
          "synonyms_path":"analysis-ik/synonyms.txt"
        }
      },
      "analyzer":{
        "ik_syno":{
          "type":"custom",
          "tokenizer":"ik_smart",
          "filter":["my_synonym_filter"]
        },
        "ik_syno_max":{
          "type":"custom",
          "tokenizer":"ik_max_word",
          "filter":["my_synonym_filter"]
        }
      }
    }
  },
  
  "mappings": {
    "properties": {
      "id":{"type":"integer"},
      "name":{"type":"text","analyzer": "ik_syno_max","search_analyzer":"ik_syno"}, 
      "tags":{"type":"text","analyzer": "whitespace","fielddata":true}, 
      "location":{"type":"geo_point"},
      "remark_score":{"type":"double"},
      "price_per_man":{"type":"integer"},
      "category_id":{"type":"integer"},
      "category_name":{"type":"keyword"},
      "seller_id":{"type":"integer"},
      "seller_remark_score":{"type":"double"},
      "seller_disabled_flag":{"type":"integer"}
    } 
  }
}

GET /shop/_search
{
  "query": {
    "match": {
      "name": "锡伯"
    }
  }
}

GET /shop/_analyze

POST /shop/_update_by_query
{
  "query":{
    "bool":{
      "must":[
        {"term":{"name":"凯"}},
        {"term":{"name":"悦"}}
      ]
    }
  }
}

GET /shop/_analyze
{
  "field": "name",
  "text": "凯悦"
}

GET /shop/_analyze
{
  "analyzer": "ik_max_word",
  "text": "凯悦"
}

#引入分类
GET /shop/_search
{
  "_source":"*",
  "script_fields": {
    "distance":{
      "script":{
        "source":"haversin(lat,lon,doc['location'].lat,doc['location'].lon)",
        "lang":"expression",
        "params":{"lat":31.23916171,"lon":121.48789949}
      }
    }
  },
  "query":{
    "function_score": {
      "query": {
        "bool":{
          "must":[
            {
              "bool": {
                "should": [
                  {"match":{"name":{"query":"住宿","boost":"0.1"}}},
                  {"term":{"category_id": {"value":2,"boost":0.1}}}
                ]
              }
            },
            {"term":{"seller_disabled_flag": 0}}
          ]
        }
      },
      "functions": [
        {
          "gauss": {
            "location": {
              "origin": "31.23916171,121.48789949",
              "scale": "100km",
              "offset":"0km",
              "decay":0.5
            }
          },
          "weight": 9
        },
        {
          "field_value_factor": {
            "field": "remark_score"
          },
          "weight": 0.2
        },
        {
          "field_value_factor": {
            "field": "seller_remark_score"
          },
          "weight": 0.2
        }
      ],
      "score_mode": "sum",
      "boost_mode": "sum"
    }
  },
  "sort": [
    {
      "_score": {
        "order": "desc"
      }
    }
  ],
  "aggs":{
    "group_by_tags":{
      "terms":{
        "field":"tags"
      }
    }
  }
}
丨Yuner
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ELK日志分析系统部署文档
以梦为马|越骑越傻
07-21 530
ELK 企业内部日志分析系统 Elasticsearch集群 主机环境 主机名 IP 操作系统 角色 logstash 192.168.25.129 CentOS-7.7 logstash es-master 192.168.25.130 CentOS-7.7 elasticsearch主节点/数据节点 es-node1 192.168.25.131 CentOS-7.7 elasticsearch数据节点 es-node2-kibana 192.168.25.128 CentO
Elasticsearch脚本使用
大风的博客
12-14 2113
如何使用Elasticsearch脚本 Elasticsearch默认脚本语言为Painless。其他lang插件使您可以运行以其他语言编写的脚本。 语言 沙盒 是否需要插件 备注 painless 是 内置的 默认脚本语言 expression 是 内置的 快速的自定义排名和排序 mustache 是 内置的 范本 脚本语法 "script": { "lang...
ElasticSearch使用脚步做数学运算 加减乘除
热门推荐
周天祥的博客
08-02 2万+
ElasticSearch使用脚步做数学运算 加减乘除 ElasticSearch版本：7.X ElasticSearch的脚本提供了加、减、乘、除、取模、乘方、开方、对数等运算 1、加、减、乘、除、取模、乘方、开方、对数等运算 2、脚本简单语法 3、对索引中的字段运算 1、加、减、乘、除、取模、乘方、开方、对数等运算 1.1 expression脚本 GET metric/_s...
ElasticSearch 脚本简单使用
周天祥的博客
08-02 1万+
ElasticSearch 脚本简单使用 ElasticSearch 7.X 如发现问题可以看官方文档 1、脚本语法 2、脚本参数 parameters 3、简单格式 Short 4、存储脚本 Stored 对人工智能感兴趣点击下面的连接 现在人工智能非常火爆，很多朋友都想学，但是一般的教程都是为博硕生准备的，太难看懂了。最近发现了一个非常适合小白入门的教程，不仅通俗易懂而且还很风...
Elasticsearch
asddasddeedd的博客
12-03 385
什么是elasticsearch elasticsearch简写es，es是一个高扩展、开源的全文检索和分析引擎，它可以准实时地快速存储、搜索、分析海量的数据。比如：一个线上商城系统，用户需要搜索商城上的商品。在这里你可以用es存储所有的商品信息和库存信息，用户只需要输入”空调”就可以搜索到他需要搜索到的商品 Docker搭建ES集群 1、关闭防火墙 # 关闭防火墙 systemctl stop firewalld.service # 禁用防火墙 systemctl ..
AJAX 随记
10-29
在本篇随记中，我们将探讨如何结构化地创建和使用一个基础的AJAX实现。 首先，我们需要创建一个AJAX对象。在不同的浏览器环境下，XMLHttpRequest对象的创建方式有所不同。在现代浏览器中，我们可以通过`new ...
c++随记.docx
09-11
学习c++过程中的一些知识点随记，我感觉重要的就稍微记了一下，比较简略，但是快速的阅读的话可以提醒自己想起那一部分的知识点。在复习c++知识点的时候，有些帮助。
随记统一响应结果和全局异常类
最新发布
01-30
个人练习使用idea编写的项目后，总结的东西
java随记等
05-22
java随记
互联网公司实习日记随记参考.pdf
07-14
互联网公司实习日记随记参考.pdf互联网公司实习日记随记参考.pdf互联网公司实习日记随记参考.pdf互联网公司实习日记随记参考.pdf互联网公司实习日记随记参考.pdf互联网公司实习日记随记参考.pdf
ElasticSearch
Echouuu的博客
02-07 276
ElasticSearch ElasticSearch特点 1.基于lucene 2.使用简单 3.分布式的 4.基于Restful API(http) 5.支持各种客户端(java,php…) 6.PB级别数据 7.性能好，速度高(近实时) 8.支持集群 9.ES处理JSON格式的数据 安装ElasticSearch ES服务只依赖于JDK，推荐使用JDK1.7+。 ① 下载ES安装包 官方下载...
ElasticSearch（6）
耗子窝
03-11 223
Java代码接入 java接入的方式有三种： Node接入：java用nodeAPI的方式，以es中一个node节点接入项目。 比如一个es集群有123三个节点，node接入的方式是指java把自己变成一个节点4，因为自己变成了节点，自然可以访问其他节点了。 当然这种方式不适合。自己变成一个节点，就会有分片等es操作，非常重量级。 Transport接入：借助9300端口作为控制层接入集...
ElasticSearch（5）
耗子窝
03-11 208
安装ik中文分词器 在bin目录下cmd：elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.6.1/elasticsearch-analysis-ik-7.6.1.zip，然后http://localhost:9201/_cat/plugins可...
Elasticsearch初识之脚本查询附加示例代码（script）
hcj_ER的博客
01-05 802
Scripting是Elasticsearch支持的一种专门用于复杂场景下支持自定义编程的强大的脚本功能，ES支持多种脚本语言，如painless，其语法类似于Java,也有注释、关键字、类型、变量、函数等，其就要相对于其他脚本高出几倍的性能，并且安全可靠，可以用于内联和存储脚本
由Elasticsearch7.8评分脚本引起的一个索引迁移解决方法
北桥苏的博客
01-06 769
前言： 为了实践一下ElasticSearch的自定义相关度评分，使用了Expression脚本。但是在执行过程中却报错了，最后通过修改索引映射，添加别名和同步旧索引数据得以解决，所以以下也围绕这几项问题展开。 涉及知识： 索引映射修改 索引别名使用 重建索引 相关度评分 问题： 1. 评分脚本执行报错。 (以下都是用Kibana的图形化开发工具测试ES的API)，当前索引是一个普通的产品数据，包括产品ID，产品名称，产品别名，产品品类，价格，排序编号。下面...
Elasticsearch LBS 的简单应用
virgil
09-26 340
1. 背景介绍 有一些餐馆或酒店散步在你的周围，你想查询你附近的酒店。 2. ES model { "shop" : { "mappings" : { "properties" : { "category_id" : { "type" : "integer" }, "category_name" : { "type" : "keyword" }, "id" : {
Elasticsearch 6.1官方入门教程
weixin_33810302的博客
12-29 638
入门 Elasticsearch是一个高度可伸缩的开源全文搜索和分析引擎。它允许你以近实时的方式快速存储、搜索和分析大量的数据。它通常被用作基础的技术来赋予应用程序复杂的搜索特性和需求。 这里列举了几个Elasticsearch可以用来做的功能例子 你有一个在线网上商城，提供用户搜索你所卖的商品功能。在这个例子中，你可以使用Elasti...
ElasticSearch常用指令
zhangningkid的博客
07-31 2999
创建索引 put test 索引命名有如下限制： 仅限小写字母 不能包含\、/、 *、?、"、<、>、|、#以及空格符等特殊符号 从7.0版本开始不再包含冒号 不能以-、_或+开头 不能超过255个字节（注意它是字节，因此多字节字符将计入255个限制） 创建索引指定相关配置 PUT blog { "settings" : { "number_of_...
elasticsearch painless脚本使用（附demo及painless API）
HiterCoder
12-26 2万+
Kibana 提供了一些强大的方法，用于搜索和可视化 Elasticsearch 中存储的数据。为了实现可视化，Kibana 会搜索 Elasticsearch mapping 中定义的 field，并以图表的形式将它们作为选项呈现给用户。但是，如果你忘记在 schema 中将一个重要的值定义为单独的 field 会怎么样呢？或者，如果你想把两个 field 合并到一起该怎么办呢？这时就可以使用
随记洗牌发牌的C语言程序
06-06
以下是一个简单的随机洗牌发牌程序的C语言代码： ```c #include <stdio.h> #include <stdlib.h> #include <time.h> #define DECK_SIZE 52 #define SUIT_SIZE 13 int main() { int deck[DECK_SIZE]; int i, j, temp; // 初始化牌堆 for (i = 0; i < DECK_SIZE; i++) { deck[i] = i; } // 随机洗牌 srand(time(NULL)); for (i = 0; i < DECK_SIZE; i++) { j = rand() % DECK_SIZE; temp = deck[i]; deck[i] = deck[j]; deck[j] = temp; } // 发牌 printf("Player 1's hand:\n"); for (i = 0; i < SUIT_SIZE; i++) { printf("%d ", deck[i]); } printf("\n\n"); printf("Player 2's hand:\n"); for (i = SUIT_SIZE; i < SUIT_SIZE * 2; i++) { printf("%d ", deck[i]); } printf("\n\n"); printf("Player 3's hand:\n"); for (i = SUIT_SIZE * 2; i < SUIT_SIZE * 3; i++) { printf("%d ", deck[i]); } printf("\n\n"); printf("Player 4's hand:\n"); for (i = SUIT_SIZE * 3; i < DECK_SIZE; i++) { printf("%d ", deck[i]); } printf("\n\n"); return 0; } ``` 这个程序首先初始化了一个52张牌的牌堆数组，然后使用`srand`和`rand`函数来进行随机洗牌。最后，程序按照四个玩家的顺序，从洗好的牌堆中取出各自的牌，输出给玩家。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值