大数据之检索elasticsearch快速入门

最新推荐文章于 2024-03-25 01:02:49 发布
最新推荐文章于 2024-03-25 01:02:49 发布
阅读量405 收藏 1
点赞数
分类专栏： 检索数据技术【初学】
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39868387/article/details/102983169
版权

一、检索

我们的应用经常需要添加检索功能，开源ElasticSearch
是目前全文搜索引擎的首选。他可以快速的存储、搜索和分析海量数据。Spring Boot通过整合Spring Data ElasticSearch为我们提供了非常便捷的检索功能支持；

Elasticsearch是一个分布式搜索服务，提供Restful
API，底层基于Lucene，采用多shard（分片）的方式保证数据安全，并且提供自动resharding的功能，github等大型的站点也是采用了ElasticSearch作为其搜索服务，**

二、概念

以 员工文档 的形式存储为例：一个文档代表一个员工数据。存储数据到 ElasticSearch 的行为叫做 索引 ，但在索引一个文档之前，需要确定将文档存储在哪里。
一个 ElasticSearch 集群可以 包含多个 索引 ，相应的每个索引可以包含多个 类型 。 这些不同的类型存储着多个 文档 ，每个文档又有 多个 属性 。
类似关系：
索引-数据库
类型-表 文档-表中的记录
属性-列

在这里插入图片描述
2.1 做一个简单的例子索引，发送请求：
首先自己使用Postman工具测试
步骤：
编辑发送请求信息

{
    "first_name" : "John",
    "last_name" :  "Smith",
    "age" :        25,
    "about" :      "I love to go rock climbing",
    "interests": [ "sports", "music" ]
}

在这里插入图片描述
发送请求，接收显示的信息
在这里插入图片描述
接着，让我们增加更多的员工信息到目录中，比如添加2号员工，步骤同理的如下操作：
添加发送消息的内容：

{
    "first_name" :  "Jane",
    "last_name" :   "Smith",
    "age" :         32,
    "about" :       "I like to collect rock albums",
    "interests":  [ "music" ]
}

在这里插入图片描述
在这里插入图片描述
接着，让我们增加更多的员工信息到目录中，比如添加2号员工，步骤同理的如下操作：
添加发送消息的内容：

{
    "first_name" :  "Douglas",
    "last_name" :   "Fir",
    "age" :         35,
    "about":        "I like to build cabinets",
    "interests":  [ "forestry" ]
}

在这里插入图片描述
在这里插入图片描述
2.2 目前我们已经在 Elasticsearch 中存储了一些数据，第一个需求是可以检索到单个雇员的数据。

语法：GET /megacorp/employee/1
在这里插入图片描述

2.3 还有一个是head请求（检查是否存在的请求风格）
在这里插入图片描述
2.4 DELETE表示删除请求的风格
在这里插入图片描述
在这里插入图片描述
小结：
将 HTTP 命令由 PUT 改为 GET 可以用来检索文档；
使用 DELETE 命令来删除文档
使用 HEAD 指令来检查文档是否存在
如果想更新已存在的文档，只需再次 PUT

注意：
每次创建PUT请求的风格，它的版本都会增加，并覆盖当前的版本

3、轻量搜索

一个 GET 是相当简单的，可以直接得到指定的文档

语法：

GET /megacorp/employee/_search
在这里插入图片描述

轻量搜索显示出来的数据如下：

{
    "took": 599,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": {
            "value": 3,
            "relation": "eq"
        },
        "max_score": 1,
        "hits": [
            {
                "_index": "megacorp",
                "_type": "employee",
                "_id": "1",
                "_score": 1,
                "_source": {
                    "first_name": "John",
                    "last_name": "Smith",
                    "age": 25,
                    "about": "I love to go rock climbing",
                    "interests": [
                        "sports",
                        "music"
                    ]
                }
            },
            {
                "_index": "megacorp",
                "_type": "employee",
                "_id": "2",
                "_score": 1,
                "_source": {
                    "first_name": "Jane",
                    "last_name": "Smith",
                    "age": 32,
                    "about": "I like to collect rock albums",
                    "interests": [
                        "music"
                    ]
                }
            },
            {
                "_index": "megacorp",
                "_type": "employee",
                "_id": "3",
                "_score": 1,
                "_source": {
                    "first_name": "Douglas",
                    "last_name": "Fir",
                    "age": 30,
                    "about": "I like to build cabinets",
                    "interests": [
                        "forestry"
                    ]
                }
            }
        ]
    }
}

注意：返回结果不仅告知匹配了哪些文档，还包含了整个文档本身：显示搜索结果给最终用户所需的全部信息。

3.1 接下来，尝试下搜索姓氏为 Smith 的雇员。

为此，我们将使用一个 高亮 搜索，很容易通过命令行完成。这个方法一般涉及到一个 查询字符串 （query-string）搜索，因为我们通过一个URL参数来传递查询信

息给搜索接口：
第一种方式：
GET /megacorp/employee/_search?q=last_name:Smith
在这里插入图片描述
第二种方式：
语法：GET /megacorp/employee/_search

{
"query" : {
“match” : {
“last_name” : “Smith”
}
}
}

在这里插入图片描述
轻量搜索显示出来的数据如下：

{
    "took": 124,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": {
            "value": 2,
            "relation": "eq"
        },
        "max_score": 1.0296195,
        "hits": [
            {
                "_index": "megacorp",
                "_type": "employee",
                "_id": "1",
                "_score": 1.0296195,
                "_source": {
                    "first_name": "John",
                    "last_name": "Smith",
                    "age": 25,
                    "about": "I love to go rock climbing",
                    "interests": [
                        "sports",
                        "music"
                    ]
                }
            },
            {
                "_index": "megacorp",
                "_type": "employee",
                "_id": "2",
                "_score": 1.0296195,
                "_source": {
                    "first_name": "Jane",
                    "last_name": "Smith",
                    "age": 32,
                    "about": "I like to collect rock albums",
                    "interests": [
                        "music"
                    ]
                }
            }
        ]
    }
}

3.3 更复杂的搜索

现在尝试下更复杂的搜索。 同样搜索姓氏为 Smith 的雇员，但这次我们只需要年龄大于 30 的。查询需要稍作调整，使用过滤器 filter ，它支持高效地执行一个结构化查询。

语法：

GET /megacorp/employee/_search {
“query” : {
“bool”: {
“must”: {
“match” : {
“last_name” : “smith”
}
},
“filter”: {
“range” : {
“age” : { “gt” : 30 }
}
}
}
} }

在这里插入图片描述
更复杂的搜索显示出来的数据如下：

{
    "took": 56,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": {
            "value": 1,
            "relation": "eq"
        },
        "max_score": 1.0296195,
        "hits": [
            {
                "_index": "megacorp",
                "_type": "employee",
                "_id": "2",
                "_score": 1.0296195,
                "_source": {
                    "first_name": "Jane",
                    "last_name": "Smith",
                    "age": 32,
                    "about": "I like to collect rock albums",
                    "interests": [
                        "music"
                    ]
                }
            }
        ]
    }
}

4、全文搜索
截止目前的搜索相对都很简单：单个姓名，通过年龄过滤。现在尝试下稍微高级点儿的全文搜索——一项传统数据库确实很难搞定的任务。

搜索下所有喜欢攀岩（rock climbing）的雇员：

GET /megacorp/employee/_search
{
“query” : {
“match” : {
“about” : “rock climbing”
}
}
}

全文搜索显示出来的数据如下：

{
    "took": 34,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": {
            "value": 2,
            "relation": "eq"
        },
        "max_score": 2.4450345,
        "hits": [
            {
                "_index": "megacorp",
                "_type": "employee",
                "_id": "1",
                "_score": 2.4450345,
                "_source": {
                    "first_name": "John",
                    "last_name": "Smith",
                    "age": 25,
                    "about": "I love to go rock climbing",
                    "interests": [
                        "sports",
                        "music"
                    ]
                }
            },
            {
                "_index": "megacorp",
                "_type": "employee",
                "_id": "2",
                "_score": 0.9795299,
                "_source": {
                    "first_name": "Jane",
                    "last_name": "Smith",
                    "age": 32,
                    "about": "I like to collect rock albums",
                    "interests": [
                        "music"
                    ]
                }
            }
        ]
    }
}

5、短语搜索
找出一个属性中的独立单词是没有问题的，但有时候想要精确匹配一系列单词或者短语 。 比如， 我们想执行这样一个查询，仅匹配同时包含 “rock” 和 “climbing” ，并且 二者以短语 “rock climbing” 的形式紧挨着的雇员记录。

为此对 match 查询稍作调整，使用一个叫做 match_phrase 的查询：
GET /megacorp/employee/_search

{
“query” : {
“match_phrase” : {
“about” : “rock climbing”
}
}
}

短语搜索显示出来的数据如下：

{
    "took": 48,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": {
            "value": 1,
            "relation": "eq"
        },
        "max_score": 2.4450345,
        "hits": [
            {
                "_index": "megacorp",
                "_type": "employee",
                "_id": "1",
                "_score": 2.4450345,
                "_source": {
                    "first_name": "John",
                    "last_name": "Smith",
                    "age": 25,
                    "about": "I love to go rock climbing",
                    "interests": [
                        "sports",
                        "music"
                    ]
                }
            }
        ]
    }
}

7、高亮搜索

许多应用都倾向于在每个搜索结果中 高亮 部分文本片段，以便让用户知道为何该文档符合查询条件。在 Elasticsearch
中检索出高亮片段也很容易。

再次执行前面的查询，并增加一个新的 highlight 参数：
GET /megacorp/employee/_search

{
“query” : {
“match_phrase” : {
“about” : “rock climbing”
}
},
“highlight”: {
“fields” : {
“about” : {}
}
} }

高亮搜索显示出来的数据如下：

{
    "took": 146,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": {
            "value": 1,
            "relation": "eq"
        },
        "max_score": 2.4450345,
        "hits": [
            {
                "_index": "megacorp",
                "_type": "employee",
                "_id": "1",
                "_score": 2.4450345,
                "_source": {
                    "first_name": "John",
                    "last_name": "Smith",
                    "age": 25,
                    "about": "I love to go rock climbing",
                    "interests": [
                        "sports",
                        "music"
                    ]
                },
                "highlight": {
                    "about": [
                        "I love to go <em>rock</em> <em>climbing</em>"
                    ]
                }
            }
        ]
    }
}
江湖侠客
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
es快速入门笔记，自我整理，共75节
02-25
Elasticsearch快速入门笔记 本资源摘要信息是基于Elasticsearch快速入门笔记的整理，共75节，涵盖了Elasticsearch的核心概念、功能、适用场景、特点、安装、启动、使用案例等 contenu。以下是本资源摘要信息的详细...
搜索引擎（大数据检索）论述[elasticsearch原理相关]
lxlmycsdnfree的博客
09-04 2519
这是基本的词项存储列表，词项在存储的时候，是根据id进行k-v Map形式存储，而且存储也是分布式的，根据id hash计算处对应存储的key,然后知道对应存储的卡槽和卡槽所在的计算机节点（redis和kafka的类似思维的结合）。上述的词项属性中有一个词项的资源列表的概念，这里是一个倒序排列的出现该词项的所有的资源id的列表（int 列表），为了能很好检索出来词项对应的资源，对应的资源列表信息肯定需要存储的，这是必不可少的存储的数据单元。是必不可少的，根据压缩后的逻辑遍历数据，从而使得检索更快。
12｜引擎分片：Elasticsearch如何实现大数据检索？
sucaiwa的博客
02-28 551
不得不感叹，Elasticsearch通过组合一片片小Lucene的服务，就实现了大型分布式数据的全文检索。这无论放到当时还是现在，都很不可思议。可以说了，Elasticsearch 几乎垄断了所有日志实时分析、监控、存储、查找、统计的市场，其中用到的技术有很多地方可圈可点。现在市面上新生代开源虽然很多，但是论完善性和多样性，能够彻底形成平台性支撑的开源仍然很少见。而Elasticsearch本身是一个十分庞大的分布式检索分析系统，它对数据的写入和查询做了大量的优化。
腾讯云大数据ES：一文秒懂！使用Elasticsearch进行数据分析
cloudbigdata的博客
09-08 1119
本文就如何使用Elasticsearch进行数据分析做一个简单的介绍。
使用Elasticsearch进行大数据分析与处理
禅与计算机程序设计艺术
01-25 676
1.背景介绍 在本文中，我们将深入探讨如何使用Elasticsearch进行大数据分析与处理。Elasticsearch是一个强大的搜索和分析引擎，它可以帮助我们高效地处理和分析大量数据。通过本文，我们将了解Elasticsearch的核心概念、算法原理、最佳实践以及实际应用场景。 1. 背景介绍 随着数据的不断增长，大数据处理和分析已经成为当今企业和组织中的关键技术。Elasticsear...
Elasticsearch入门讲解
03-28
Elasticsearch 入门讲解 1. ELASTICSEARCH 初识 Elasticsearch（简称ES）是一款基于Lucene的开源分布式搜索引擎，以其强大的全文检索、实时分析和高可扩展性而闻名。它不仅用于传统的搜索功能，还广泛应用于日志...
ElasticSearch入门和基础（高清视频教程）.rar
01-21
这个"**ElasticSearch入门和基础（高清视频教程）**"显然旨在为初学者提供一个全面了解和学习Elasticsearch的平台。在视频教程中，你可能会学到以下几个关键知识点： 1. **Elasticsearch的基本概念**：包括其分布式...
Elasticsearch入门学习笔记
06-28
Elasticsearch 是一款功能强大的开源全文搜索引擎，常用于大数据分析和实时检索场景。这篇入门学习笔记将引导初学者了解如何安装、配置以及使用Elasticsearch。 首先，让我们从安装开始。要安装Elasticsearch，你...
elasticsearch入门教程&应用场景.zip
02-01
**Elasticsearch 入门教程与应用场景** **一、Elasticsearch 简介** Elasticsearch 是一个基于 Lucene 的分布式、实时的搜索和分析引擎。它不仅提供了全文检索的功能，还支持结构化数据的搜索，是大数据时代下数据...
大数据技术ELK实时检索
weixin_38620636的博客
04-28 2159
修改/opt/elasticsearch-6.6.0/plugins/ik/config/中的IKAnalyzer.cfg.xml> < properties > < comment > IK Analyzer 扩展配置
ES 如何做到几十亿数据检索 3 秒返回
Reische的博客
11-20 106
数据平台已迭代三个版本，从头开始遇到很多常见的难题，整理一些已完善的文档，在此分享以供所需朋友的实现参考，少走些弯路，在此篇幅中偏重于ES的优化，关于HBase，Hadoop的设计优化估计有很多文章可以参考，不再赘述。
分布式 - ElasticSearch解决大数据量检索难题
热门推荐
简单记录一下。
10-16 20万+
不啰嗦，我们直接开始！ 引言 如果你的项目里有超过千万上亿级别的数据，且数据日增量较大需要高性能检索时，如订单数据，你该怎么办？ 作为面试官，你需要找一个能解决这个问题的人！为应聘者，你该如何回答面试官这个问题？ 你可以了解下使用搜索引擎框架，Elasticsearch （ES）是一个不错的开源搜索引擎框架。我们可以把 ES 当做“数据库”来使用，全球很多知名社区的全文检索都采用ES，如维基百科、Stack Overflow、Github等。 ElasticSearch是开源的，它基于lucene
待完善 Elasticsearch 在大数据的应用：Spring Boot + Elasticsearch：高效管理大数据的利器
.
02-27 662
ES作为一个功能丰富、性能优越的大数据搜索引擎，已经被越来越多的企业广泛应用。本文介绍了ES的核心组件、数据结构和数据类型、查询和聚合操作等知识点，以及ES的实践操作，并通过Java代码示例进行讲解。希望本文能够帮助开发者更好地了解和应用ES，进一步推动ES的发展和应用。
大数据的处理技术：Elasticsearch
最新发布
禅与计算机程序设计艺术
03-25 264
大数据的处理技术：Elasticsearch 作者：禅与计算机程序设计艺术 1. 背景介绍 在当今数据爆炸式增长的时代，数据的存储、检索和分析已经成为企业和组织面临的重大挑战。传统的关系型数据库已经无法有效地满足海量、多样化数据的管理需求。这就催生了一种新型的数据
信息检索：高级检索（大数据技术与应用）
梁辰兴的博客
11-15 1494
6.单击检索到的文章，这里提供了两种阅读和两种下载方式，分别是使用手机和HTML网页进行阅读，使用CAJ下载和PDF下载。检索目的：使用知网的高级检索功能检索与自己专业相关的某一主题的期刊资源/会议资源/报纸资源/图书资源。3.将下载好的文献，和导出的HTML文件一同打包发送给老师的邮箱（254300041@qq.com）。从目的中可知，我们的关键字是自己的专业，就我而言，专业是大数据技术与应用。7.使用CAJ下载该文献：单击CAJ下载按钮就可以直接下载。4.输入自己需要的相关条件，然后单击【检索按钮】
Elasticsearch 结合大数据产品最佳实践
weixin_45906054的博客
03-28 2360
摘要：本文整理自阿里云解决方案架构师闫勖勉（三秋）在 阿里云Elasticsearch 自研引擎年度发布 的演讲。主要内容包括：Elasticsearch与大数据经典应用与案例分析Tips：点击「阅读原文」查看原文视频一、Elasticsearch与大数据1、Elasticsearch 是什么？Elasticsearch（简称 ES）是业内最主流的信息检索、分析引擎，...
大数据与算法系列之海量数据查找算法
跋跋寒的博客
06-05 1万+
在某些时候，可能会涉及在海量数据中的查找，如果采用通常的做法，则很难达到一定的效果，在实际工程实践中，海量数据的查找性能很肯恩鬼成为整个系统的性能瓶颈，在海量数据中的查找包括基于布隆过滤器的方式，以及基于倒排索引的数据结构。基于布隆过滤器查找布隆过滤器(Bloom Filter)是1970年由布隆提出的。它实际上是一个很长的二进制矢量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集...
在大数据的时代，你该如何迅速的检索你想要的信息？
diaolove的博客
10-24 1119
快速检索
Elasticsearch
石头视角
01-06 595
Elasticsearch关键概念 要使用Elasticsearch，笔者认为，只需要理解几个基本概念就可以了。 在数据层面，主要有： Index：Elasticsearch用来存储数据的逻辑区域，它类似于关系型数据库中的db概念。一个index可以在一个或者多个shard上面，同时一个shard也可能会有多个replicas。Document：Elasticsearch里面存储的实体数
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值