Elasticsearch-探索数据

最新推荐文章于 2024-03-12 01:49:13 发布
最新推荐文章于 2024-03-12 01:49:13 发布
阅读量151 收藏
点赞数 1
分类专栏： ElasticSearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39735854/article/details/86562238
版权

title: Elasticsearch-探索数据
date: 2019-01-18 21:14:40
tags: Elasticsearch
categories: Elasticsearch

Search API

查询的API分为两类，一类是基于URL查询的,一类是带有请求体的查询方式

工具

  • ElasticSearch
  • kibana(可选)/谷歌插件ElasticSearch Head/PostMan

基于URL查询

Rest API 通过访问_search节点访问得到

GET /item/_search?q=*&sort=cId:asc

这个查询中item指定index,q=*代表匹配所有的index,sort=cId:asc表示根据cId按照asc由小到大的顺序呢进行排序

查询结果:

{
    "took": 75,
    "timed_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 35,
        "max_score": null,
        "hits": [
            {
                "_index": "item",
                "_type": "item",
                "_id": "MWTTTTGFR",
                "_score": null,
                "_source": {
                    "itemId": "MWTTTTGFR",
                    "name": "小米笔记本Air 13.3\"",
                    "cId": 6,
                    "itemCatName": null,
                    "sellPoint": "全新升级：第八代四核处理器\n5399元起",
                    "price": 5399,
                    "limitNum": 80,
                    "image": "http://39.105.59.55:9999/img/pms.jpg",
                    "remark": null,
                    "description": null,
                    "sortOrder": null
                },
                "sort": [
                    6
                ]
            },
            {
                "_index": "item",
                "_type": "item",
                "_id": "MARADSAi",
                "_score": null,
                "_source": {
                    "itemId": "MARADSAi",
                    "name": "小米笔记本Air 12.5\"  ",
                    "cId": 8,
                    "itemCatName": null,
                    "sellPoint": "在设计小米笔记本时，设计师做了一个大胆的决定：去掉笔记本正面的Logo。这个设计虽然冒险，却换来了一个优雅的、干净的表面，高度简洁的设计美学使笔记本从一个产品，成为了一件艺术品。什么都没有的正面，会不会没个性？美学家认为这恰恰提供了个性的无限可能：没有 Logo，正意味着它的每个角落都可以被装饰。还有更多艺术家机身贴纸，陆续推出。",
                    "price": 3599,
                    "limitNum": 80,
                    "image": "http://39.105.59.55:9999/img/pms.jpg",
                    "remark": null,
                    "description": null,
                    "sortOrder": 4
                },
                "sort": [
                    8
                ]
            },
            {
                "_index": "item",
                "_type": "item",
                "_id": "AGVERFERVE",
                "_score": null,
                "_source": {
                    "itemId": "AGVERFERVE",
                    "name": "小米游戏本",
                    "cId": 8,
                    "itemCatName": null,
                    "sellPoint": "让你在游戏的世界里恣意闯荡，亦可在游戏之外更加专注极致地创作，这是我们的初衷。为此，我们邀请多\n领域的业内专家，从配置、散热，到键盘、屏幕、音效等进行了系统级的重塑，历经两年，终于将这款小米\n游戏本呈现给你。",
                    "price": 6399,
                    "limitNum": 80,
                    "image": "http://39.105.59.55:9999/img/pms_1533266333.04566853!200x200.jpg",
                    "remark": null,
                    "description": null,
                    "sortOrder": 5
                },
                "sort": [
                    8
                ]
            },
            {
                "_index": "item",
                "_type": "item",
                "_id": "PDASJSDASCS",
                "_score": null,
                "_source": {
                    "itemId": "PDASJSDASCS",
                    "name": "小米笔记本Air 13.3\"",
                    "cId": 8,
                    "itemCatName": null,
                    "sellPoint": "只需一个 GeForce®️ MX150 独立显卡和 2GB GDDR5 高速显存，让你对\n轻薄本的游戏性能完全改观。43%的性能提升，流畅运行大场景游戏。",
                    "price": 5399,
                    "limitNum": 80,
                    "image": "http://39.105.59.55:9999/img/pms.jpg",
                    "remark": null,
                    "description": null,
                    "sortOrder": 5
                },
                "sort": [
                    8
                ]
            },
            {
                "_index": "item",
                "_type": "item",
                "_id": "QEWQEDFDF",
                "_score": null,
                "_source": {
                    "itemId": "QEWQEDFDF",
                    "name": "小米净水器",
                    "cId": 8,
                    "itemCatName": null,
                    "sellPoint": "大流量直出纯净水，健康家庭必备",
                    "price": 1999,
                    "limitNum": 80,
                    "image": "http://39.105.59.55:9999/img/pms.jpg",
                    "remark": null,
                    "description": null,
                    "sortOrder": 8
                },
                "sort": [
                    8
                ]
            },
            {
                "_index": "item",
                "_type": "item",
                "_id": "QFCAPAK",
                "_score": null,
                "_source": {
                    "itemId": "QFCAPAK",
                    "name": "小米笔记本 15.6\"",
                    "cId": 8,
                    "itemCatName": null,
                    "sellPoint": "全面均衡的国民轻薄本\n第八代酷睿™ 四核处理器",
                    "price": 4199,
                    "limitNum": 80,
                    "image": "http://39.105.59.55:9999/img/pms.jpg",
                    "remark": null,
                    "description": null,
                    "sortOrder": 1
                },
                "sort": [
                    8
                ]
            },
            {
                "_index": "item",
                "_type": "item",
                "_id": "BNRWRVBSFV",
                "_score": null,
                "_source": {
                    "itemId": "BNRWRVBSFV",
                    "name": "小米笔记本Pro 15.6″",
                    "cId": 8,
                    "itemCatName": null,
                    "sellPoint": "最高配备第八代英特尔® 酷睿™ i7处理器 ，无锁4核8线程，最大频率达4.0GHz，性能较上一代提升40%。\n强大而高效的多任务处理能力，让你近乎实时地创建、编辑和共享图形渲染及视频内容。",
                    "price": 6299,
                    "limitNum": 80,
                    "image": "http://39.105.59.55:9999/img/pms_1505897592.73836006!200x200.jpg",
                    "remark": null,
                    "description": null,
                    "sortOrder": 2
                },
                "sort": [
                    8
                ]
            },
            {
                "_index": "item",
                "_type": "item",
                "_id": "BRWTGVRF",
                "_score": null,
                "_source": {
                    "itemId": "BRWTGVRF",
                    "name": "小米电视4C 50英寸",
                    "cId": 8,
                    "itemCatName": null,
                    "sellPoint": "4K HDR 人工智能语音电视",
                    "price": 1899,
                    "limitNum": 80,
                    "image": "http://39.105.59.55:9999/img/pms.jpg",
                    "remark": "",
                    "description": null,
                    "sortOrder": 2
                },
                "sort": [
                    8
                ]
            },
            {
                "_index": "item",
                "_type": "item",
                "_id": "VAAAEFEFERF",
                "_score": null,
                "_source": {
                    "itemId": "VAAAEFEFERF",
                    "name": "米家空气净化器 Pro",
                    "cId": 8,
                    "itemCatName": null,
                    "sellPoint": "澎湃动力，净化能力更快更强",
                    "price": 1499,
                    "limitNum": 80,
                    "image": "http://39.105.59.55:9999/img/pms.jpg",
                    "remark": null,
                    "description": null,
                    "sortOrder": 5
                },
                "sort": [
                    8
                ]
            },
            {
                "_index": "item",
                "_type": "item",
                "_id": "GRJTOGVJRFGOV",
                "_score": null,
                "_source": {
                    "itemId": "GRJTOGVJRFGOV",
                    "name": "小米笔记本Air 13.3\"",
                    "cId": 8,
                    "itemCatName": null,
                    "sellPoint": "全新升级：第八代四核处理器\n",
                    "price": 5399,
                    "limitNum": 80,
                    "image": "http://39.105.59.55:9999/img/pms.jpg",
                    "remark": null,
                    "description": null,
                    "sortOrder": 4
                },
                "sort": [
                    8
                ]
            }
        ]
    }
}

响应中会出现的一些参数

  • took: 查询发费的时间(ms)

  • timeout: 是否超时

  • _shards: 碎片数

  • hits: 查询的结果

json格式的查询语言发出请求

  1. 匹配所有信息match_all

    URL: localhost:9200/item/_search

    请求体:

    {
	"query":{
		"match_all":{
			
		}
	}
}

    • 限定查询出数据的数量默认查询出来的结果数量是10

      GET /item/_search
{
  "query": { "match_all": {} },
  "size": 1
}

    • 分页查询

      GET /item/_search
{
  "query": { "match_all": {} },
  "from": 10,
  "size": 10
}

    • 按照某一个属性排序

      GET /item/_search
{
  "query": { "match_all": {} },
  "sort": { "price": { "order": "desc" } }
}

  2. 如果只写match_all默认会把信息的所有属性全都查出来,我们可以通过以下方式限定查询的属性

    GET /item/_search
{
  "query": { "match_all": {} },
  "_source": ["id", "price"]
}

    这样子，查询结果的字段信息就只会包含id和price,类似于SQL语句里的select id,price from item

  3. 限定查询条件

    1. 匹配某个一字段

      下面这个就是匹配id为20的商品

      GET /item/_search
{
  "query": { "match": { "id": 20 } }
}

    2. 匹配多个字段,有一个就行

      下面这个匹配商品厂家是mill或者lane

      GET /item/_search
{
  "query": { "match": { "address": "mill lane" } }
}

    3. 包含mill lane整个短语

      GET /item/_search
{
  "query": { "match_phrase": { "address": "mill lane" } }
}

    4. bool 查询

      1. 下面这个例子返回的数据必须包含mill和lane

        GET /item/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "address": "mill" } },
        { "match": { "address": "lane" } }
      ]
    }
  }
}

      2. 下面这个例子返回的数据包含mill或者lane

        GET /item/_search
{
  "query": {
    "bool": {
      "should": [
        { "match": { "address": "mill" } },
        { "match": { "address": "lane" } }
      ]
    }
  }
}

      3. 下面这个例子返回的数据不能包含id为20的数据

        GET /item/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "age": "40" } }
      ],
      "must_not": [
        { "match": { "id": 20 } }
      ]
    }
  }
}

执行过滤操作

下面这个例子返回的数据包含id在10到20之间的数据

GET /bank/_search
{
  "query": {
    "bool": {
      "must": { "match_all": {} },
      "filter": {
        "range": {
          "id": {
            "gte": 10,
            "lte": 20
          }
        }
      }
    }
  }
}

执行聚类

聚类可以理解为SQL中的GROUP BY，对信息进行分类

下边这个例子根据商品名称进行分类

GET /item/_search
{
  "size": 0,
  "aggs": {
    "group_by_name": {
      "terms": {
        "field": "name.keyword"
      }
    }
  }
}
时光诠释
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
数据分析引擎Elasticsearch快速入门
teisuan的博客
03-24 460
Elasticsearch 是一个分布式的 RESTful 风格的搜索和数据分析引擎。 查询 ： Elasticsearch 允许执行和合并多种类型的搜索 — 结构化、非结构化、地理位置、度量指标 — 搜索方式随心而变。 分析 ： 找到与查询最匹配的十个文档是一回事。但是如果面对的是十亿行日志，又该如何解读呢？Elasticsearch 聚合让您能够从大处着眼，探索数据的趋势和模式。 速度 ： Elasticsearch 很快。真的，真的很快。 可扩展性 ：可以在笔记本电脑上运行。 也可以在承载了.
最新版linux elasticsearch-8.3.3-linux-x86_64.tar.gz
07-30
Kibana则是一个数据可视化工具，用户可以通过它来探索和展示Elasticsearch中的数据。 在实际应用中，Elasticsearch的灵活性和可扩展性使其成为大数据分析的理想选择。它可以轻松处理大量实时数据，支持复杂的查询和...
使用Elasticsearch进行实时数据挖掘
禅与计算机程序设计艺术
01-18 886
1.背景介绍 Elasticsearch是一个开源的搜索和分析引擎，基于Lucene库，可以实现实时搜索和数据分析。它具有高性能、可扩展性和易用性，适用于大数据场景。在现代互联网应用中，Elasticsearch被广泛应用于日志分析、搜索引擎、实时数据挖掘等领域。 本文将从以下几个方面进行阐述： 背景介绍 核心概念与联系 核心算法原理和具体操作步骤以及数学模型公式详细讲解 具体代码实例和详...
一起探索Elasticsearch是怎样搜索数据的
snail-jie的博客
08-04 120
背景 最近产品经理反馈查报文麻烦，后期和领导讨论做一个日志收集服务，日志存储选择用ES 在学习ES之前，带上下面的疑问点进行学习，下面请求参数是啥意思？ 2.1 url：/plume_log_run_20210804*/_search?from=0&size=100 2.2 查询参数{"query":{"bool":{"must":[{"match_phrase":{"appName":{"query":"plumelog_demo"}}},{"range":{"dtTime":{"gte":16
ElasticSearch--1
qq_45866770的博客
02-07 363
Elaticsearch，简称为 ES， ES 是一个开源的高扩展的分布式全文搜索引擎， 是整个 ElasticStack 技术栈的核心。 它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理 PB 级别的数据。
使用Elasticsearch构建爬虫系统
Exploit的小站~
08-21 7900
（一）为什么用检索？ 爬虫系统一般分为多线程下载部分，链接池，数据存储，检索系统等。这个检索系统可以将我们爬取的信息进行整合，并且可以加快我们查找的速度。另外，不仅爬虫系统使用，我觉得在一切想把结果做成索引对外提供查询的需求都可以使用检索系统，比如个人社工库，大规模漏洞扫描系统（可以利用其做僵尸网络）等。检索系统很多，但是我认为Elasticsearch比较方便，提供多种语言的API，比如jav
ES&elasticsearch-header入门教程01--简单的CRUD
爱钻研的小张
10-25 950
一.Elasticsearch介绍 Elasticsearch 是一个分布式、可扩展、实时的搜索与数据分析引擎。 它能从项目一开始就赋予你的数据以搜索、分析和探索的能力，这是通常没有预料到的。 它存在还因为原始数据如果只是躺在磁盘里面根本就毫无用处。 无论你是需要全文搜索，还是结构化数据的实时统计，或者两者结合，这本指南都能帮助你了解其中最基本的概念， 从最基本的操作开始学习 Elasticsearch。之后，我们还会逐渐开始探索更加高级的搜索技术，不断提升搜索体验来满足你的需求。 二. 新建索引 1.可以
Elasticsearch-7.8.0安装最全(mac、Linux、window、centos7.5集群、docker)
2301_79479951的博客
03-12 1303
Elasticsearch安装localhost、Kibana安装localhost适用于mac、window、linux单机测试。
ElasticSearch - 海量数据索引拆分的一些思考
小工匠
08-26 8207
本次主要通过索引的拆分与合并，来提升查询性能，同时降低整体集群的资源使用量。过程中我们探索了在线数据的跨集群迁移，多索引联合查询的应用，数据写入的同步异步切换等，希望能够为大家提供解决 ES 大规模数据检索的瓶颈，提供参考。虽然本次相对比较平滑的完成了索引的拆分，但是需要耗费大量的开发和测试资源。伴随业务的快速发展，遇到数据瓶颈的业务线，可能有会逐渐增多，如果届时每个业务域要独自开发和测试，成本还是相对较高的。
ElasticSearch-深入理解数据检索与写入原理（四）
weixin_38899094的博客
08-23 515
本章笔者和大家进一步去探索ES搜索引擎技术，深入去探索下ES的数据是如何检索、如何写入的。并结合具体命令和集群架构的形式，来看下在集群中检索和写入的原理。 笔者也结合自身理解，对他的流程进行绘图，方便大家更好的去想象这个检索流程，以便大家理解，如有分歧的地方，欢迎大家留言交流。 ElasticSearch批量操作文本与DSL语言入门（三） 深入理解文本类型keyword和text的存储和match和term关键字对数据的查询 定义映射字段 我们先通过mapping定义我们索引中数据字段类型，类似mysq.
最新版windows elasticsearch-8.6.1-windows-x86-64.zip
01-28
1. **Kibana集成**：通常配合Kibana进行数据可视化和交互式探索，安装Kibana并配置连接到Elasticsearch。 2. **RESTful API**：通过HTTP接口与Elasticsearch交互，创建、读取、更新和删除数据。 3. **Logstash输入/...
elasticsearch-8.1.2-windows-x86_64
04-02
3. **实时性**：Elasticsearch在索引数据时几乎无延迟，适合实时数据分析和搜索需求。 4. **多租户**：支持多个索引和类型，方便不同业务或项目的数据隔离。 5. **聚合分析**：强大的聚合功能，可进行数据统计和分析...
最新版windows elasticsearch-8.7.0-windows-x86-64.zip
04-05
Kibana是数据可视化和交互式探索的工具，而Logstash负责日志收集和预处理，Beats系列则轻量级地发送各种类型的数据到Elasticsearch。 在8.7.0版本中，可能还会有对Kibana和Logstash的版本同步，以确保这些组件之间...
elasticsearch-head-5.0.0.zip
11-19
总之，elasticsearch-head-5.0.0.zip是针对Elasticsearch 5.0.0版本的一个实用的可视化工具，它极大地简化了集群管理和数据探索的过程，尤其适合初学者和开发者进行快速的调试和测试。不过，随着Elasticsearch的发展...
常用芯片手册芯片资料MAX260常用芯片手册芯片资料MAX260
最新发布
08-31
常用芯片手册芯片资料MAX260常用芯片手册芯片资料MAX260提取方式是百度网盘分享地址
常用芯片手册芯片资料82530常用芯片手册芯片资料82530
08-31
常用芯片手册芯片资料82530常用芯片手册芯片资料82530提取方式是百度网盘分享地址
全国互联网网民数和互联网普及率.xlsx
08-31
1、资源内容地址：https://blog.csdn.net/2301_79696294/article/details/141286857 2、代码特点：今年全新，手工精心整理，放心引用，数据来自权威，相对于其他人的控制变量数据准确很多,适合写论文做实证用 ，不会出现数据造假问题 3、适用对象：大学生，本科生，研究生小白可用，容易上手！！！ 3、课程引用: 经济学，地理学，城市规划与城市研究，公共政策与管理，社会学，商业与管理 各省、地级市、区县互联网普及率、宽带接入户数和电话用户数等 1、全国互联网网民数和互联网普及率（1997-2020年）； 2、各省互联网网民数和互联网普及率（1997-2016年）； 3、地级市互联网宽带接入用户（1996-2020年）； 4、各区县电话用户数（2004-2019年）
SQLAlchemy-2.0.30-cp37-cp37m-musllinux_1_1_x86_64.whl
08-31
SQLAlchemy 是一个 SQL 工具包和对象关系映射（ORM）库，用于 Python 编程语言。它提供了一个高级的 SQL 工具和对象关系映射工具，允许开发者以 Python 类和对象的形式操作数据库，而无需编写大量的 SQL 语句。SQLAlchemy 建立在 DBAPI 之上，支持多种数据库后端，如 SQLite, MySQL, PostgreSQL 等。 SQLAlchemy 的核心功能： 对象关系映射（ORM）： SQLAlchemy 允许开发者使用 Python 类来表示数据库表，使用类的实例表示表中的行。 开发者可以定义类之间的关系（如一对多、多对多），SQLAlchemy 会自动处理这些关系在数据库中的映射。 通过 ORM，开发者可以像操作 Python 对象一样操作数据库，这大大简化了数据库操作的复杂性。 表达式语言： SQLAlchemy 提供了一个丰富的 SQL 表达式语言，允许开发者以 Python 表达式的方式编写复杂的 SQL 查询。 表达式语言提供了对 SQL 语句的灵活控制，同时保持了代码的可读性和可维护性。 数据库引擎和连接池： SQLAlchemy 支持多种数据库后端，并且为每种后端提供了对应的数据库引擎。 它还提供了连接池管理功能，以优化数据库连接的创建、使用和释放。 会话管理： SQLAlchemy 使用会话（Session）来管理对象的持久化状态。 会话提供了一个工作单元（unit of work）和身份映射（identity map）的概念，使得对象的状态管理和查询更加高效。 事件系统： SQLAlchemy 提供了一个事件系统，允许开发者在 ORM 的各个生命周期阶段插入自定义的钩子函数。 这使得开发者可以在对象加载、修改、删除等操作时执行额外的逻辑。
百度云/百度网盘Python客户端
08-31
极简说明 安装: pip install bypy 运行: bypy 这是一个百度云/百度网盘的Python客户端。主要的目的就是在Linux环境下（Windows下应该也可用，但没有仔细测试过）通过命令行来使用百度云盘的2TB的巨大空间。比如，你可以用在Raspberry Pi树莓派上。它提供文件列表、下载、上传、比较、向上同步、向下同步，等操作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值