ES--Kibana相关操作创建索引和Mapping

最新推荐文章于 2024-09-21 08:00:00 发布
最新推荐文章于 2024-09-21 08:00:00 发布
阅读量6.6k 收藏 14
点赞数 6
分类专栏： JavaSE kibana 文章标签： es
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/apawnchuck_129/article/details/104899311
版权

ES–Kibana相关操作创建索引和Mapping

ES--Kibana手册

1.新建索引

PUT test_index/

PUT secisland?pretty
{}


PUT secisland4
{
  "settings": {
    "index":{
      "number_of_shards":1,
      "number_of_replicas":0
    }
  }
}

PUT secisland6
{
  "settings": {
    "number_of_shards":1,
    "number_of_replicas":0
  }
}
更新副分片数量：

PUT secisland6/_settings
{
  "number_of_replicas":0
}

查看索引列表

GET _cat/indices?pretty&v


PUT test_data
{
  "settings": {
    "index":{
        "number_of_shards":5,
        "number_of_replicas":1
    }
  }
}

#test_data索引名称，相当于数据库名称 
#product 类型，相当于数据库的表名
#1就是要存储数据的id，不写的话默认给一个长字符串
PUT test_data/product/1
{
  "name":"华为电脑",
  "address":"深圳",
  "price":9600,
  "creat_time":"2019-01-02"
}

 
#修改
POST test_data/product/3/_update
{
  "doc":{
    "price":5835
  }
}
#es7+ 这样更新
POST test_data/_update/2
{
  "doc":{
    "price":5836
  }
}


#删除
DELETE test_data/product/3

#删除索引
DELETE test_data

GET test_data/_settings

GET _all/_settings

#计算每种电脑有多少数量
GET test_data/product/_search
{
  "size": 0,
  "aggs": {
    "group_by_name": {
      "terms": {
        "field": "name.keyword"
      }
    }
  }
}
#size:只获取聚合结果，而不执行聚合原始数据
#aggs:固定语法，要对一份数据执行分组聚合操作
#group_by_name:就是对每个aggs，都要起一个名字，这个名字是随机的，你随便取什么都ok
#terms：根据字段的值进行分组
#field：根据指定的字段的值进行分组

#计算北京地区，统计地址的数量
GET test_data/product/_search
{
  "size": 0,
  "query": {
    "match": {
        "address": "深圳"
    }
  },
  "aggs": {
    "all_names": {
      "terms": {
        "field": "address.keyword"
      }
    }
  }
}

#计算北京地区，统计地址的数量
GET test_data/product/_search
{
  "size": 0,
  "aggs": {
    "group_by_names":{
      "terms": {"field": "name.keyword"},
      "aggs": {
        "avg_price":{"avg": {"field": "price"}},
        "min_price":{"min": {"field": "price"}},
        "max_price":{"max": {"field": "price"}},
        "sum_price":{"sum": {"field": "price"}}
      }
    }
  }
}
#count:buckets,terms,自动就会有一个doc_count,就相当于是count
#avg:avg aggs 求平均值
#max:求一个bucket内，指定field值最大的那个数据
#min：求一个bucket内，指定field值最小的那个数据
#sum：求一个bucket内，指定field值的总和先分组，再算每组的平均值


#计算商品下的平均价格，并且按照平均价格降序排列
GET test_data/product/_search
{
  "size": 0,
  "aggs": {
   "all_names":{
     "terms": { "field": "name.keyword","collect_mode": "breadth_first","order": {
       "avg_price": "desc"}},
       "aggs": {
         "avg_price": {
           "avg": {"field": "price"}
         }
       }
     }
  }
}

#按照指定的价格范围区间进行分组，然后在每组内再按照name进行分组，最后再计算每组的平均价格  ranges:[{}]
GET test_data/product/_search
{
  "size": 0,
  "aggs": {
   "group_by_price":{
      "range": {
        "field": "price",
        "ranges": [
          {
            "from": 50,
            "to": 4000
          }
        ]
      },
      "aggs": {
        "group_by_names": {
          "terms": {
            "field": "name.keyword"
          },
          "aggs": {
            "avg_price": {
              "avg": {
                "field": "price"
              }
            }
          }
        }
      }
     }
  }
}


#histogram
GET test_data/product/_search
{
  "size": 0,
  "aggs": {
   "price":
   {
     "histogram": {
       "field": "price",
       "interval": 6000
     },
     "aggs": {
       "revenue": {
         "sum": {
           "field": "price"
         }
       }
     }
   }
  }
}

GET test_data/product/_search
{
  "size": 0,
  "aggs": {
    "time":{
      "date_histogram": {
        "field": "creat_time",
        "interval": "month",
        "format": "yyyy-MM-dd",
        "min_doc_count": 0,
        "extended_bounds":{
          "min":"2019-01-01",
          "max":"2019-01-02"
        }
      }
    }
  }
}

 
GET test_data/product/_search
{
  "size": 0,
  "query": {
    "term": {
      "brand": {
        "value": "华为电脑"
      }
    }
  },
  "aggs": {
    "single_brand_avg_price": {
      "avg": {
        "field": "price"
      }
    },
    "all":{
      "global": {},
      "aggs": {
        "all_brand_avg_price": {
          "avg": {
            "field": "price"
          }
        }
      }
    }
  }
}
#single_brand_avg_price：就是针对query搜索结果，执行的，拿到的，就是华为电脑的平均价格
#all.all_brand_avg_price：拿到所有品牌的平均价格

2.创建别名

POST _aliases
{
  "actions": [
    {
      "add": {
        "index": "test_index",
        "alias": "test_index_name"
      }
    }
  ]
}

3.创建mapping

POST test_index/test_type/_mapping
{

"test_type": {
  "dynamic": false,
  "_all": {
    "enabled": false
  },
  "properties": {
    "wbbh": {
      "type": "keyword"
    },
    "jyxkzbh": {
      "type": "keyword"
    },
    "wbmc": {
      "type": "text",
      "analyzer": "smartcn",
      "fields": {
        "raw": {
          "type": "keyword"
        },
        "standard": {
          "type": "text",
          "analyzer": "standard"
        }
      }
    },
    "zbx": {
      "type": "keyword"
    },
    "zby": {
      "type": "keyword"
    },
    "zby_zbx": {
      "type": "keyword"
    },
    "lksj": {
      "type": "keyword"
    },
    "wbdz": {
      "type": "text",
      "analyzer": "smartcn",
      "fields": {
        "raw": {
          "type": "keyword"
        },
        "standard": {
          "type": "text",
          "analyzer": "standard"
        }
      }
    },
    "cjsj": {
      "type": "date"
    },
    "rksj": {
      "type": "date"
    },
    "gxdwmc": {
      "type": "text",
      "analyzer": "smartcn",
      "fields": {
        "raw": {
          "type": "keyword"
        },
        "standard": {
          "type": "text",
          "analyzer": "standard"
        }
      }
    },
    "wbfzr": {
      "type": "text",
      "analyzer": "smartcn",
      "fields": {
        "raw": {
          "type": "keyword"
        },
        "standard": {
          "type": "text",
          "analyzer": "standard"
        }
      }
    },
    "dt": {
      "type": "keyword"
    },
    "type": {
      "type": "keyword"
    }
  }
}

}

4.创建一个新的 people 索引，注意，将IP替换为你们自己的主机地址

###  创建一个新的 people 索引，注意，将IP替换为你们自己的主机地址
PUT http://10.247.63.97:9200/people
Content-Type: application/json
 
{
  "settings": {
    "number_of_shards": 3,
    "number_of_replicas": 1
  },
  "mappings": {
    "properties": {
      "type": {"type": "keyword"},
      "name": {"type": "text"},
      "country": {"type": "keyword"},
      "age": {"type": "integer"},
      "date": {
        "type": "date",
        "format": "yyyy-MM-dd HH:mm:ss || yyyy-MM-dd || epoch_millis"
      }
    }
  }
}

5.关于ElasticSearch的9200和9300端口区别

9200作为Http协议，主要用于外部通讯

9300作为Tcp协议，jar之间就是通过tcp协议通讯

ES集群之间是通过9300进行通讯

6.查询索引

GET /_cat/indices?v

获取索引

请求：

GET secisland
GET secisland/_settings

可以使用通配符获取多个索引，或者使用_all或者*号获取全部索引。
请求：

GET secisland*

或者：

GET */_settings

参数含义
参数大致解释:

  • took: 执行搜索耗时，毫秒为单位

  • time_out: 搜索是否超时

  • _shards: 多少分片被搜索，成功多少，失败多少

  • hits： 搜索结果展示
    hits.total: 匹配条件的文档总数
    hits.hits: 返回结果展示，默认返回十个
    hits.max_score：最大匹配得分
    hits._score: 返回文档的匹配得分（得分越高，匹配程度越高，越靠前）

  • _index _type _id 作为剥层定位到特定的文档

  • _source 文档源

7.删除索引

删除索引

删除索引secisland4，请求：

DELETE secisland4

删除索引可以使用逗号分隔符或者_all或者*号删除全部索引

DELETE secisland2,secisland3

DELETE _all

DELETE *

在这里插入图片描述

8.关闭索引

关闭/打开索引

关闭：POST secisland/_close

打开：POST secisland/_open

关闭的索引只能显示索引的元数据信息，不能够进行读写操作。

可以同时打开或者关闭多个索引。如果指向不存在的索引则会抛出错误，可以使用配置ignore_unavailable=true，不显示异常。

全部索引可以用_all或者*打开或者关闭。因为关闭的索引会继续占用磁盘空间而不能使用，所以在一定程度上造成磁盘空间的浪费。
禁止使用关闭索引功能:
在这里插入图片描述

9.重建索引

重建索引

POST _reindex
{
  "source": {"index": "secisland"},
  "dest": {"index": "secisland4"}
}

{
  "took" : 13,
  "timed_out" : false,
  "total" : 0,
  "updated" : 0,
  "created" : 0,
  "deleted" : 0,
  "batches" : 0,
  "version_conflicts" : 0,
  "noops" : 0,
  "retries" : {
    "bulk" : 0,
    "search" : 0
  },
  "throttled_millis" : 0,
  "requests_per_second" : -1.0,
  "throttled_until_millis" : 0,
  "failures" : [ ]
}

在这里插入图片描述

10.

happy9021
关注
专栏目录
kibana 更新 索引模式_ES--Kibana相关操作创建索引和Mapping
weixin_36433781的博客
12-30 1856
Kibana控制台命令：1.创建索引infomation并创建映射mapping (一步搞定)PUT information{"mappings": {"record":{"properties": {"ip":{"type": "text"},"count":{"type": "long"},"create_type":{"type": "date"},"i_type":{"type": "te...
ElasticSearch学习笔记(一)倒排索引、ES和Kibana安装、索引操作
挑灯日记 记录自己
06-20 1258
为此，IK分词器提供了强大的停用词功能，让我们在索引时就直接忽略停用词汇表中的内容。但根据关键词查询时，必须先逐条获取每个文档，然后判断文档中是否包含所需要的关键词，是。倒排索引结构虽然不复杂，但是一旦数据结构改变（比如改变了分词器），就需要重新创建倒排索引，这又是无法接受的。先查询倒排索引，再查询倒排索引，但是无论是词条、还是文档id都建立了索引，查询速度非常快，而无需全表扫描。但由于网络问题，拉取失败了。则相反，是先找到用户要搜索的词条，根据词条得到保存词条的文档的id，然后根据id获取文档，是。
【Elasticsearch】利用kibana调整索引mapping结构
Dream it Possible
12-08 1万+
引言 在初次创建索引后，索引结构一般都固定不变，但也难免会遇到需求更改而索引结构也需要有对应的调整。本篇博客将介绍如何利用kibana新增字段，并且初始化值。 查看索引mapping结构 首先，我们可以先通过kibana使用以下API查看某一索引的结构： GET /'index_name'/'index_type'/_mapping 如果对kibana使用API有疑问，可以查看博客kibana安装与使用教程 注：API中的index_name和index_type为常量，对应索引名和索引类型。 修改索引
【Elasticsearch系列十六】Mapping 映射
最新发布
檀越的博客
09-21 1万+
往 es 里面直接插入数据，es 会自动建立索引，同时建立对应的 mapping。mapping 中就自动定义了每个 field 的数据类型不同的数据类型（比如说 text 和 date），可能有的是 exact value，有的是 full textexact value，在建立倒排索引的时候，分词的时候，是将整个值一起作为一个关键词建立到倒排索引中的；full text，会经历各种各样的处理，分词，normaliztion（时态转换，同义词转换，大小写转换），才会建立到倒排索引中。
Kibana操作Elasticsearch-Mapping映射操作
程序员劝退师的博客
07-11 6543
Mapping 关系型数据库中两个数据表示是独立的，即使他们里面有相同名称的列也不影响使用，但ES 中不是这样的。elasticsearch是基于Lucene开发的搜索引擎，而ES中不同type下名称相同 的filed最终在Lucene中的处理方式是一样的。 • 两个不同type下的两个user_name，在ES同一个索引下其实被认为是同一个filed，你必 须在两个不同的type中定义相同的filed映射。否则，不同type中的相同字段名称就会在 处理中出现冲突的情况，导致Lucene处理效率下降。 •
Kibana创建索引
leveretz的博客
12-14 1636
Kibana创建索引
Kibana ES创建索引命令
强哥叨逼叨
03-24 9630
删除旧索引 DELETE 索引名 创建新索引 PUT 索引名 { "settings": { "index": { "number_of_shards": "3", "number_of_replicas": "0" } } } 设置索引mapping PUT 索引名/_doc/_mapping { "properties": { "id": { "type": "ke
elasticsearch-analysis-ik-7.7.0
06-13
- **创建索引时指定分析器**：在创建索引的映射（mapping）中，可以设置默认的分析器为 `ik_max_word` 或 `ik_smart`，或者自定义分析器。 - **查询时使用分词器**：在查询语句中，可以通过 `analyzer` 参数指定...
ElasticSearch快速入门、kibana、索引、分片、创建索引index和映射mapping、增删改查
QAQ
03-07 967
Elaticsearch，简称为es， es是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本 身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。es也使用Java开发并使用Lucene作为其核心来实 现所有索引和搜索的功能，但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得 简单。 点击ElasticSearch下的bin目录下的elasticsearch.bat启动，控制台显示的日志信息如下： 注意：9300是tcp通讯端口，集
elasticsearch-head 的谷歌浏览器（chrome）插件，版本为 0.1.5。
01-19
Elasticsearch-Head 是一款专为Elasticsearch设计的可视化管理工具，它以谷歌浏览器（Chrome）插件的形式存在，方便用户直观地查看和管理Elasticsearch集群的状态、索引、文档等信息。在版本 0.1.5 中，该插件提供了...
ELK -- Kibana 创建索引样式
RunzIyy的博客
03-06 1739
ELK – Kibana 创建索引样式： 1. 访问 APPServer 产生日志 2. 访问 Kibana kibana 监听端口 5601 http://kibana-ip:5601 http://192.168.116.104:5601 3. 创建索引样式 创建样式，可以选择自己喜欢的 ...
kibana创建索引_Elasticsearch 实战案例（索引切分、模板、别名、数据迁移）
weixin_39556474的博客
11-30 1946
背景基于ELK搭建的日志平台，前期匆忙建设过程中一些参数和设计未做过多的考虑，上线后就需要不断根据实际情况做调整，而一些调整限于ELK的一些特性，一旦操作不当就会出现丢数据、数据写入异常、数据查不到等情况。因此如何在这种背景下，做到对使用方无感知的动态调整是我们所要实现的目标。本文更加注重实践而非深层次的理论讲解，有兴趣深入了解的可以自行研习。总体架构CASESCASE1：按日/月生成索引创建的n...
Kibana的索引库创建，mapping字段，document的增删改操作
Hpeacheng的博客
03-09 989
Get /heima1/_mapping为获取映射字段信息 GET /heima1/_search内容如下图
Elasticsearch索引的操作，利用kibana(如何创建/删除一个es的索引？)
热门推荐
坐看云起时_雨宣
03-15 3万+
我们已经通过索引一篇文档创建了一个新的索引。这个索引采用的是默认的配置，新的字段通过动态映射的方式被添加到类型映射。现在我们需要对这个建立索引的过程做更多的控制：我们想要确保这个索引有数量适中的主分片，并且在我们索引任何数据之前，分析器和映射已经被建立好。费话不多说，我们来看。 利用Kibana提供的DevTools来执行命令，要创建一个索引 put /sdb （其中sdb为一个...
Kibana 创建索引 POST 403 (forbidden) on create index
robinson_911的专栏
11-10 1384
一、问题描述： Kibana创建索引：kibana > management > index patterns > create index pattern 索引名称:merchant-receipt-log-2019.06.04 点击创建按钮后，什么也没发生， 索引没有创建成功。 打开浏览器开发工具【f12】 发现如下错误： POSThttp://ip:5601/api/saved_objects/index-pattern7403 (forbidden) 二...
kibana创建索引_Elasticsearch之可视化分析中间件Kibana
weixin_39938312的博客
11-29 828
简介Kibana是一个可视化的数据分析中间件，是一个前端组件。并不具备把数据聚合的能力，而是将Elasticsearch的各种API组合起来，并以一个可视化的方式把数据展示出来。安装找到和Elasticsearch对应的版本，进行下载下载到本地后解压修改配置文件#网络白名单ipserver.host: "0.0.0.0"#ES地址elasticsearch.url: "http://localho...
kibana创建索引、文档基本操作
San_Ran的博客
03-22 8838
kibana创建索引、文档的基本操作
使用kibana来创建ElasticSearch的索引库与文档的命令
罗铠威的博客
01-14 1496
本篇博客主要以介绍使用kibana来创建ElasticSearch的索引库与文档的命令语句。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值