秋招准备之elasticsearch

最新推荐文章于 2024-08-23 15:23:09 发布
最新推荐文章于 2024-08-23 15:23:09 发布
阅读量121 收藏
点赞数
分类专栏： 秋招准备 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/justisme/article/details/109403231
版权
ES的基本概念：文档和索引

ES是面向文档(document)的,文档是可搜索的搜索的最小单位，文档会被序列化为JSON格式，保存在ES中，每个文档有个unique ID,此ID可以自己指定，也可以由ES生成，文档类似数据库中的一条记录。文档的元数据用于表示文档的相关信息，eg：_socre:相关性打分

在这里插入图片描述
在这里插入图片描述
索引index是一类文档的集合，index体现了逻辑空间的概念，通过mapping定义文档字段名的类型。而Shard体现了物理空间的概念。

索引的不同语义，名词-动词

文档的CRUD
在这里插入图片描述

批量API，bulk api，批量读取mget,批量

在这里插入图片描述

ES的倒排索引

可以为字段建立倒排索引。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

倒排索引的第一步：分词(analysis),分词过程通过analyzer实现。
在这里插入图片描述

倒排索引的不可变性
在这里插入图片描述

删除一个文档的过程，记录在.del文件中
在这里插入图片描述

snalyzer的组成
在这里插入图片描述

标准的分词器，默认的分词器，按词切分，小写处理
在这里插入图片描述

对相关性的衡量指标:查准率(precision)、查全率(recall)和排序。
在这里插入图片描述

ES的主分片和副本

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

分片原理
在这里插入图片描述
在这里插入图片描述

refresh: ES写文档时，先写入index-buffer中，每间隔固定时间，再写入segment中
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

ES查询过程：Query Then Fetch

类似归并排序
在这里插入图片描述
在这里插入图片描述

潜在问题？相关性分计算不准确
在这里插入图片描述

解决方法：1.将主分区设置为1.
在这里插入图片描述
在这里插入图片描述

Scroll API 创建了一个快照。

ES的两大功能：search+aggregation

在这里插入图片描述
在这里插入图片描述

乐观并发控制

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

编程方法论
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
简单Elasticsearch实战（二）python爬取招聘网站信息
ikiler的博客
05-24 895
有句话叫没枪没炮，敌人给我们造嘛，咱们个人学习肯定没有那么多数据嘛，怎么办，就从有数据的地方借点过来呗（嘿嘿！） 所谓爬虫，就是把别的网站信息下载下来，经过筛选获得信息，虽然过程复杂，但跟着函数一步一步来也不难 主要就用了两个库 requests BeautifulSoup 一个用于获取网页，一个用于解析 网页分析 首先我们看一下页面的主体（为了简单，我们直接访问移动端页面） 页面主要可获取信息为 招聘职位 地址 工资 时间 body里面每一个div就是一条数据，逻辑还是很简单的，当然，仅仅这
2021年春招Elasticsearch面试题
寒冰屋的专栏
04-21 2999
目录 1、Elasticsearch是如何实现master选举的？ 2、详细描述一下 Elasticsearch 索引文档的过程。 3、详细描述一下 Elasticsearch 更新和删除文档的过程。 4、详细描述一下 Elasticsearch 搜索的过程？ 5、Elasticsearch 对于大数据量（上亿量级）的聚合如何实现？ 6、在并发情况下，Elasticsearch 如果保证读写一致？ 7、ElasticSearch中的集群、节点、索引、文档、类型是什么？ 8、Elasticse
面试官问我会不会ElasticSearch，我语塞了...
龙跃十二
06-03 884
Elasticsearch是目前基本所有公司都会使用的中间件，有专门的针对Elasticsearch的岗位，学好他，提升百倍竞争力...
【笔记】elastic search 使用心得及工作笔记
qq_30490591的博客
11-26 607
1.es是什么？ 官方回答：es是以下三个功能的集合： 一个分布式的实时文档存储，每个字段 可以被索引与搜索 一个分布式实时分析搜索引擎 能胜任上百个服务节点的扩展，并支持 PB 级别的结构化或者非结构化数据 2.es能做什么？ ES官方回答：Elasticsearch 是一个实时的分布式搜索分析引擎， 它能让你以一个之前从未有过的速度和规模，去探索你的数据。 它被用作全文检索、结构化搜...
elasticsearch面试必考（亲身经历的问题）
热门推荐
abcd1101的专栏
04-04 12万+
作者：手留余香 | 转自：Java架构沉思录 | 原文 面试题 es 写入数据的工作原理是什么啊？es 查询数据的工作原理是什么啊？底层的 lucene 介绍一下呗？倒排索引了解吗？ 面试官心理分析 问这个，其实面试官就是要看看你了解不了解 es 的一些基本原理，因为用 es 无非就是写入数据，搜索数据。你要是不明白你发起一个写入和搜索请求的时候，es 在干什么，...
ElasticSearch官方测试数据
09-14
Elasticsearch（ES）是一种流行的开源全文搜索引擎，它基于Lucene库构建，被广泛用于大数据分析、日志聚合、实时搜索和索引等场景。官方提供的测试数据集是检验Elasticsearch功能、性能和稳定性的关键资源，可以帮助...
ES查询客户端，elasticsearch可视化工具
06-24
elasticsearch的客户端比较出名的就是elasticsearch head 和Kibana了， 但是elasticsearch head已经停止更新，且样式老旧，功能不全； 而Kibana虽功能全面，但是启动麻烦，大部分功能用不上，很不灵活，所以采用vite...
es-head Elasticsearch的可视化操作插件
12-19
es-head是一个针对Elasticsearch的可视化操作插件。它提供了一个便捷的操作工具，可以连接Elasticsearch搜索引擎，并提供可视化的操作页面，对Elasticsearch进行各种设置和数据检索功能的管理。 es-head 插件可以在...
elasticsearch-8.2.3 windows 版本
06-21
elasticsearch-8.2.3 windows 版本。 Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的...
es docker 部署 elasticsearch.yml
03-19
docker run --name elasticsearch7.16.3 -p 127.0.0.1:9200:9200 -p 127.0.0.1:9300:9300 -e "discovery.type=single-node" -v /Users/xingyue/Home/xingyue/学习/工程化/es/elasticsearch.yml:/usr/share/elastic...
elasticsearch控制查询精准度
石头视角
02-27 9255
1、使用minimum_should_match参数 elasticsearch query中的minimum_should_match ，字面意思就很清晰了，就是最小匹配度，但是它却有很多种配置方式。 正向匹配度比如 "minimum_should_match":3 官方原文解释是：Indicates a fixed value regardless of the number of opt
分布式搜索引擎Elasticsearch（一）
哎幽的成长
01-05 1万+
Elasticsearch是一个基于Lucene的开源分布式搜索引擎，具有分布式多用户能力，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是第二流行的企业搜索引擎。设计用于云计算中，能够达到实时搜索、高性能计算；同时Elasticsearch的横向扩展能力非常强，不需要重启服务，基本上达到了零配置。但是目前来说相关资料很少，
Elasticsearch
weixin_30470643的博客
09-13 520
目录 一、Elasticsearch 1.1 介绍 1.2 Elasticsearch能做什么 1.3 Elasticsearch基本概念 1.3.1 Near Realtime(NRT) 几乎实时 1.3.2 Cluster 集群 1.3...
【Elasticsearch】Elasticsearch 搜索体验可量化的指标 查准率（精确率）、查全率（召回率）
九师兄
05-16 699
文章目录1.概述1.1 召回率1.2 精确率1.3 表格 1.概述 用户体验是感官反应，但感觉的搜索结果需要量化下。 如何量化？实际本质指标就是：查准率（精确率）、查全率（召回率）。 1.1 召回率 定义：本次搜索结果中包含的相关文档占整个集合中所有相关文档的比率。 衡量检索结果的查全率。 1.2 精确率 定义：本次搜索结果中相关文档所占的比例。 衡量检索结果的查准率。 1.3 表格 具体可以根据混淆矩阵来理解，  相关不相关返回真正例（tp）伪正例（fp）未返回伪反例（fn）真反例（tn） 已
Elasticsearch 方法论
zhaojiweiwin的博客
05-21 691
开篇人工智能、大数据快速发展的今天，对于 TB 甚至 PB 级大数据的快速检索已然成为刚需。Elasticsearch 作为开源领域的后起之秀，从2010年至今得到飞跃式的发展。 Elasticsearch 以其开源、分布式、RESTFul API 三大优势，已经成为当下风口中“会飞的猪”。阿里云2018年2月5日已开价50-200W年薪招聘技术人员参与 Elasticsearch、Lucene ...
ElasticSearch基础原理
傻逼青年的春天
08-01 4521
一、关于索引     搜索程序一般由索引链及搜索组件组成。        索引链功能的实现需要按照几个独立的步骤依次完成：检索原始内容、根据原始内容来创建对应的文档、对创建的文档进行索引。        搜索组件用于接收用户的查询请求并返回相应结果，一般由用户接口、构建可编程查询语句的方法、查询语句执行引擎及结果展示组件组成。     索引引擎        著名的开源程序Lucene是为索引组件...
Elasticsearch核心
weixin_41992498的博客
08-20 490
索引类型type：在es7.0及以前有这个概念，相当于索引分类，一个索引可以 由多个type组成，相当于数据的逻辑分类，es8.0后删除了该概念，过渡期默认的索引类型是_doc;master：候选节点，当主节点宕机了，master有可能成为主节点，一个集群节点可能有多个候选节点，五角星节点才是主节点；1、节点：一个节点（Node）就是一个es进程，一个服务器可以部署多个节点。lngest：预处理节点，比如日志，可以先处理，过滤，再查询。data：数据节点，所有的数据都存放在数据节点上。
Git入门
weixin_54279427的博客
08-20 966
自诞生于2005年以来，Git日渐完善，它的速度很快，极其适合管理大型项目，它还有着令人难以置信的非线性分支管理系统，可以应付各种复杂的项目开发需求。Git是一个版本控制软件，具有以下几点优点本地建立版本库本地版本控制多主机异地协同工作重写提交说明可以进行版本回退更好的提交列表更好的差异比较更完善的分支系统速度极快Github与GitLab都是用于管理版本的服务端软件GitLab用于在企业内部管理Git版本库，功能上类似于GitHub。
git submodule
最新发布
duke_ding2的博客
08-23 740
git submodule
Elasticsearch基础教程：快速掌握ES语法与索引概念
"这篇资源是针对初学者的Elasticsearch (ES) 语法基础入门教程，涵盖了ES的安装、基本特性和DSL语法，同时也讲解了Kibana的使用。此外，教程还深入介绍了搜索引擎和倒排索引的概念，旨在帮助初学者快速掌握搜索引擎...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值