weixin_43939924的博客

–数据导出elasticdump –input=http://yxsyb_jf:yxsyb_jf-pass@10.10.100.207:9200/yxsyb_jf_tagmaster_prod –output=query.json –searchBody ‘{“query”: {“bool”: {“must”: [{“terms”: {“confDataSetId”: [“1057”,“1058”,“1059”]}}]}}}’–数据导入elasticdump –

https://www.elastic.co/guide/en/logstash/current/input-plugins.html1、标准输入(Stdin)input{ stdin{ }}output { stdout{ codec=>rubydebug }}2、读取文件(File)logstash使用一个名为filewatch的ruby gem库来监听文件变化,并通过一个叫.sincedb的数据库文件来记录被

快速入门POST /_sql?format=txt{ "query": "SELECT * FROM tvs "}启动方式1http 请求2客户端：elasticsearch-sql-cli.bat3代码显示方式sql 翻译POST /_sql/translate{ "query": "SELECT * FROM tvs "}返回：{ "size" : 1000, "_source" : false, "stored_fields" : "_no

电视案例创建索引及映射PUT /tvsPUT /tvs/_mapping{ "properties": { "price": { "type": "long" }, "color": { "type": "keyword" }, "brand": { "type": "keyword" }, "sold_date": { "type": "date" } }}插入数据PO

聚合示例需求：计算每个studymodel下的商品数量sql语句： select studymodel，count(*) from book group by studymodelGET /book/_search{ "size": 0, "query": { "match_all": {} }, "aggs": { "group_by_model": { "terms": { "field": "studymodel" } } }}

评分机制详解评分机制 TF\IDF算法介绍relevance score算法，简单来说，就是计算出，一个索引中的文本，与搜索文本，他们之间的关联匹配程度。Elasticsearch使用的是 term frequency/inverse document frequency算法，简称为TF/IDF算法。TF词频(Term Frequency)，IDF逆向文件频率(Inverse Document Frequency)Term frequency：搜索文本中的各个词条在field文本中出现了多少次，出

search搜索入门14.1． 搜索语法入门14.1.1query string search无条件搜索所有GET /book/_search{ "took" : 969, "timed_out" : false, "_shards" : { "total" : 1, "successful" : 1, "skipped" : 0, "failed" : 0 }, "hits" : { "total" : { "value"

概要在Elasticsearch实战场景中，我们或多或少会遇到嵌套文档的组合形式，反映在ES中称为父子文档。父子文档的实现，至少包含以下两种方式：1）父子文档父子文档在5.X版本中通过parent-child父子type实现，即：1个索引对应多个type；6.X+版本已经不再支持一个索引多个type，6.X+的父子索引的实现改成Join。2）Nested嵌套类型问题引出示例:{ "age": 10, "name": "libai", "objs": [ {

Ik分词器安装使用中文分词器standard 分词器，仅适用于英文。GET /_analyze{ "analyzer": "standard", "text": "中华人民共和国人民大会堂"}我们想要的效果是什么：中华人民共和国，人民大会堂IK分词器就是目前最流行的es中文分词器安装官网：https://github.com/medcl/elasticsearch-analysis-ik下载地址：https://github.com/medcl/elasticsearch-an

索引管理为什么我们要手动创建索引直接put数据 PUT index/_doc/1,es会自动生成索引，并建立动态映射dynamic mapping。在生产上，我们需要自己手动建立索引和映射，为了更好地管理索引。就像数据库的建表语句一样。索引管理创建索引创建索引的语法PUT /index{ "settings": { ... any settings ... }, "mappings": { "properties" : { "field1

什么是mapping映射概念：自动或手动为index中的_doc建立的一种数据结构和相关配置，简称为mapping映射。插入几条数据，让es自动为我们建立一个索引PUT /website/_doc/1{ "post_date": "2019-01-01", "title": "my first article", "content": "this is my first article in this website", "author_id": 11400}PUT /webs

数据路由文档存储如何路由到相应分片一个文档，最终会落在主分片的一个分片上，到底应该在哪一个分片？这就是数据路由。路由算法shard = hash(routing) % number_of_primary_shards哈希值对主分片数取模。举例：对一个文档经行crud时，都会带一个路由值 routing number。默认为文档_id（可能是手动指定，也可能是自动生成）。存储1号文档，经过哈希计算，哈希值为2,此索引有3个主分片，那么计算2%3=2，就算出此文档在P2分片上。决定一个doc

es分布式基础es对复杂分布式机制的透明隐藏特性分布式机制：分布式数据存储及共享。分片机制：数据存储到哪个分片，副本数据写入。集群发现机制：cluster discovery。新启动es实例，自动加入集群。shard负载均衡：大量数据写入及查询，es会将数据平均分配。shard副本：新增副本数，分片重分配。Elasticsearch的垂直扩容与水平扩容垂直扩容：使用更加强大的服务器替代老服务器。但单机存储及运算能力有上线。且成本直线上升。如10t服务器1万。单个10T服务器可能20万。

倒排索引简单实现倒排索引倒排索引源于实际应用中需要根据属性的值来查找记录。这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址。由于不是由记录来确定属性值，而是由属性值来确定记录的位置，因而称为倒排索引(inverted index)。带有倒排索引的文件我们称为倒排索引文件，简称倒排文件(inverted file)。(来源百度)SQL:CREATE TABLE `term` ( `id` int(11) NOT NULL AUTO_INCREMENT, `term` varch

Es基础语法整理使用kibana工具整理索引相关创建索引# 创建索引PUT testindex# 响应结果 注意：创建索引库的分片数默认 1 片，在 7.0.0 之前的 Elasticsearch 版本中，默认 5 片{ # 响应结果true 操作成功 "acknowledged": true, # 分片结果 分片操作成功 "shards_acknowledged": true, # 索引名称 "index": "testindex"}查看所有索引# 查看所有索引