elasticsearch入门介绍

最新推荐文章于 2024-05-30 15:04:26 发布
最新推荐文章于 2024-05-30 15:04:26 发布
阅读量1.3k 收藏 10
点赞数 41
文章标签： elasticsearch 大数据 搜索引擎
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44416039/article/details/139058928
版权

一、介绍

1.1 ES简介

Elasticsearch(简称ES)是使用iava开发，基于Lucene、分布式、通过Restful7方式进行交互的近实时搜索平台框架。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。

ES是ELK架构技术栈的组件之一。

ELK(ES+Logstash+Kibana)是一个免费开源的日志分析架构技术栈总称，但实际上ELK不仅仅适用于日志分析，它还可以支持其它任何数据搜索、分析和收集的场景，日志分析和收集只是更具有代表性。随着elk的发展，又有新成员Beats、elastic cloud的加入，所以就形成了Elastic Stack。.所以说，ELK是旧的称呼，Elastic Stack是新的名字。

1.2 ES特点

  • 处理方式灵活：ES是目前最流行的准实时全文检索引擎，具有高速检索大数据的能力。
  • 接口简单：采用json形式RESTFUL API接受数据并响应，无关语言。
  • 性能高效：ES基于优秀的全文搜索技术Lucene,采用倒排索引，可以轻易地在百亿级别数据量下，搜索出想要的内容，并且是秒级响应。
  • 功能强大：ES作为传统数据库的一个补充，提供了数据库所不不能提供的很多功能，如全文检索，同义词处理，相关度排名。

1.3应用场景

ES主要用于搜索。传统的数据库搜索存在以下弊端：

  • 电商、社交网站数据存储往往是GB、PB级。存储上亿条数据时，涉及到的单表数据过大就必须分表，数据库磁盘占用过大就必须分库。
  • 当查询一个词或者一行内容时，上亿条数据的帖子需要从标题和内容中逐行扫描，性能相当差。
  • 不能分词，当我搜索一个词或者一行内容时，只能搜到指定内容的数据。

而相对的，就可以使用ES进行解决。ES具有以下功能：

  • 分布式的搜索引擎搜索：互联网搜索、站内搜索。
  • 全文检索，结构化检索，数据分析

对海量数据进行近实时的处理分布式：ES自动可以将海量数据分散到多台服务器上去存储和检索，经行并行查询。近实时：es只需秒级即可查询海量数据。

常见的Elasticsearch节点类型：

Master节点: 

    • 负责集群管理任务，例如维护集群状态、索引管理、节点故障检测等。
    • 不参与数据存储或搜索。
    • 一个集群中通常只有一个或少数几个主节点。

Data节点:

    • 存储索引数据，执行数据的读写操作。
    • 负责执行搜索请求。
    • 通常是集群中的大部分节点。

Ingest节点:

    • 负责预处理文档，例如数据转换、数据解析和数据增强。
    • 可以在数据进入索引之前对其进行处理。

Coordinating节点 (有时也称为Client节点):

    • 用于路由搜索和索引请求，将请求转发到适当的Data节点。
    • 旨在处理客户端请求，如索引、搜索、获取集群状态等，而不进行数据存储。

除了上述的角色外，还有其他一些特殊的节点和角色，例如：

  • Ingest node with pipeline：带有自定义pipeline的Ingest节点，可以进行复杂的数据转换和处理。
  • Machine Learning节点：专门用于Elasticsearch的机器学习功能。
  • 具体的角色和配置取决于集群的需求和规模。在配置Elasticsearch集群时，通常会根据集群的规模和性能要求来决定节点的数量和类型。

1.4 Lucene&Solr&ESLucene

最先进、功能最强大的搜索库，直接基于lucene开发，非常复杂，api复杂。

solr：Solr是一个高性能，采用ava开发，基于Lucene的全文搜索服务器。同时对其进行了扩展，提供了比Lucene更为丰富的查询语言同时实现了可配置、可扩展并对查询性能进行了优化，并且提供了一个完善的功能管理界面，是一款非常优秀的全文搜索引擎。

ES：基于lucene，封装了许多lucene)底层功能，提供简单易用的restful api接口和许多语言的客户端。

solr和ES性能对比：

当单纯的对已有数据进行搜索，并且数据量不是很大时，Sol更快。

当实时建立索引时,Solr会产生io阻塞,查询性能较差,ES具有明显的优势。

1.5 倒排索引

常规的索引简历方式：文档—>关键词的映射过程（正向索引）

倒排反向建立索引：关键词—>文档的映射 把正向索引的结果重新构造成倒排索引（反向索引）

二、ElasticSearch安装

2.1 ElasticSearch目录结构

文件夹作用
/bin运行ElasticSearch实例和管理插件的一些脚本
/config配置文件夹，如Elasticsearch.yml和logging.yml
/data数据文件夹
/libElasticSearch使用库
/logs日志
/plugins已经安装的插件存放位置

注意：9300 端口为 Elasticsearch 集群间组件的通信端口，9200 端口为浏览器访问的 http 协议 RESTful 端口。

2.2 linux安装

wget -c https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.4.0-linux-x86_64.tar.gz
tar -zxf elasticsearch-8.4.0-linux-x86_64.tar.gz
cd elasticsearch-8.4.0-linux-x86_64
bin/elasticsearch

2.3 服务配置

vi /etc/systemd/system/elasticsearch.service

[Unit]
Description=elasticsearch 7.16.3

[Service]
Type=forking
User=elk-admin
LimitNOFILE=65536
LimitNPROC=65536
# 后台命令启动
ExecStart=/opt/elasticsearch-7.16.3/bin/elasticsearch -d

[Install]
WantedBy=multi-user.target

2.4 用户密码配置

#设置密码
bin/elasticsearch-setup-passwords interactive
#重置密码
bin/elasticsearch-reset-password -u elastic
# 添加用户
 bin/elasticsearch-users useradd leellun -r superuser

三、基础知识

Node(节点)：单个的装有ElasticSearch服务并提供故障转移和扩展的服务器。

Cluster(集群)：一个集群就是由一个或多个node组织在一起，共同作用，共同分享整个数据具有负载均衡功能的集群。

Document（文档）：一个文档是一个可被索引的基础信息单元。

Index（索引）：索引就是一个拥有几分相似特征的文档的集合。

Type（类型）：一个索引种，可以定义一种或多种类型。

Field（列）：Field是ElasticSearch的最小单元，相当于数据的某一列。

Shards（分片）：ElasticSearch将索引分成若干份，每一个部分就是一个shard。

Replicas（复制）：Replicas是索引一份或多分拷贝。

关系型数据库非关系型数据库(ElasticSearch)
数据库 database索引Index
表Table类型Type
数据行Row文档Document
数据列Column字段Field

四、资源操作

  • GET：用来获取资源
  • POST：用来新建资源(也可以用于更新资源)
  • PUT：用来更新资源
  • DELETE：用来删除资源

五、ElasticSearch架构

Discovery

  • 负责发现在集群内的节点,以及选举新的节点。
  • Elasticsearch 是-个Peer to peer 系统,节点间直接通当操作是delegated/broadcast.
  • Master 节点是用来维护Global cluaster state,同时为新加入和离开的节点分配shards.
  • 每次集群状态改变,节点都会知道(具体的方式取决于实际的Discovery实现)

六、分词插件

七、Mapping映射

映射：创建索引的时候，可以预先定义字段的类型以及相关属性。作用：这样会让索引建立得更加的细致和完善！分类：静态映射和动态映射

es类型说明：

es属性字段：

7.1 动态映射·

文档中碰到一个以前没见过的字段时，动态映射可以自动决定该字段的类型，并对该字段添加映射。

如何配置动态映射？

通过dynamic属性进行控制true:默认值，动态添加字段：false:忽略新字段：strict:碰到陌生字段，抛出异常。

适用范围

适用在根对象上或者object类型的任意字段上

八 Logstash

8.1 Logstash运行参数

8.2 数据类型

  • 布尔boolean：ssl_enable=>true
  • 字节bytes：my_bytes=>"10MiB" #10485760 bytes
  • 字符串String：name=>"Hello world“
  • 数值Number：port=>514
  • Array：match =["datetime","UNIX","IS08601"]
  • 哈希Hash：options=>{key1=>"value1", key2=>"value2"}
  • 编码解码：codec：codec=>“json"
  • 密码型：my_password=>“password”
  • 路径：my_path=>"/tmp/logstash
  • 注释：#

8.3 条件判断

=(等于)，=（不等于），<《小于)，大于)，<=（小于等于），>=（大于等于）=匹配正则)，（不匹配正则）

in(包含)，not in(不包含) and(与)，or(或)，nand非与，xor(非或)

():复合表达式，!()：对复合表达式结果取反

8.4 Logstash配置结构

  • inputs 就是输入
  • codecs 就是解码
  • filters 就是过滤
  • outputs 输出
weixin_44416039
关注
  • 41
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Elasticsearch入门介绍及Linux安装
zxc_user的博客
01-12 600
Elasticsearch入门介绍及安装
Elasticsearch入门介绍
会飞的狼
01-11 337
Elasticsearch 是一个实时的分布式搜索分析引擎， 它能让你以一个之前从未有过的速度和规模，去探索你的数据。 它被用作全文检索、结构化搜索、分析以及这三个功能的组合： ES文档翻译与总结参考：ES知识汇总 Wikipedia 使用 Elasticsearch 提供带有高亮片段的全文搜索，还有 search-as-you-type 和 did-you-mean 的建议。 卫报 使用 El
ES入门介绍
weixin_42343797的博客
07-31 220
ES入门介绍
ElasticSearch入门介绍和实战
EverythingAtOnce的博客
12-22 1105
Elasticsearch是用Java开发并且是当前最流行的开源的企业级搜索引擎。能够达到实时搜索，稳定，可靠，快速，安装使用方便。客户端支持Java、.NET（C#）、PHP、Python、Ruby等多种语言。官方网站: https://www.elastic.co/下载地址：https://www.elastic.co/cn/start创始人:Shay Banon（谢巴农）应用场景通过一个程序扫描文本中的每一个单词，针对单词建立索引，并保存该单词在文本中的位置、以及出现的次数。
ElasticSearch 入门教程
weixin_45795312的博客
01-06 531
ElasticSearch入门教程，操作语法学习。
ElasticSearch从入门到精通
qq_45443475的博客
09-15 998
ElasticSearch从入门到精通
Elasticsearch入门教程
qq_34139393的博客
06-18 832
Elasticsearch入门教程
Elasticsearch（ES）入门，这一篇就够了
lisheng19870305的专栏
12-22 4328
实时搜索引擎Elasticsearch Elasticsearch（简称ES）是一个基于Apache Lucene(TM)的开源搜索引擎，无论在开源还是专有领域，Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。 Elasticsearch简介 Elasticsearch是什么 Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎，无论在开源还是专有领域，Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。 但是，Luc.
es入门操作-elasticsearch入门操作
12-27
es入门操作-elasticsearch入门操作
ElasticSearch入门.pdf
05-25
Elaticsearch，简称为es， es是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。es也使用Java开发并使用Lucene作为其核心来...
elasticsearch基础入门.pptx
08-16
elasticsearch的入门级课件，可用做项目初期的培训课件
Elasticsearch入门学习笔记
06-28
Elasticsearch入门学习笔记，适用于未学过Elasticsearch的人群，其中有些内容也是参考官方文档。
ElasticSearch入门篇.docx
03-12
elasticsearch
【PB案例学习笔记】-09滚动条使用
再小的帆也能远航，把分享变成一种习惯
05-27 433
这是PB案例学习笔记系列文章的第8篇，该系列文章适合具有一定PB基础的读者。通过一个个由浅入深的编程实战案例学习，提高编程技巧，以保证小伙伴们能应付公司的各种开发需求。文章中设计到的源码，小凡都上传到了gitee代码仓库需要源代码的小伙伴们可以自行下载查看，后续文章涉及到的案例代码也都会提交到这个仓库【如果对小伙伴有所帮助，希望能给一个小星星⭐支持一下小凡。
让WSL内核使用BBR拥塞控制算法
Double Galaxy
05-27 109
使用git命令从Linux内核的Git仓库中获取源代码，$ git clone https://github.com/microsoft/WSL2-Linux-Kernel.git，找到对应的内核版本$ git log --grep="5.15.146.1-microsoft-standard-WSL2"，回退到本机安装的内核版本$ git checkout 在配置中搜索TCP_CONG_BBR，确保该选项被设置为y（表示编译进内核）或m（表示编译为模块）。需要事先安装好依赖的工具。
Linux 使用 yum安装 ELK服务，yum 安装elasticsearch和Kibana(未写完)
雪花凌落的盛夏
05-27 645
是一个近实时（NRT）的分布式搜索和分析引擎，它可以用于全文搜索，结构化搜索以及分析。它是一个建立在全文搜索引擎 Apache Lucene 基础上的搜索引擎，使用 Java 语言编写。它是一个具有近实时（NRT）传输能力的数据收集、过滤、分析引擎，用来进行数据收集、解析、过滤，并最终将数据发送给ES。它是一个为 ElasticSearch 提供分析和展示的可视化 Web 平台。它可以在 ElasticSearch 的索引中查找，交互数据，并生成各种维度表格、图形以及仪表盘。
vue 项目报./node_modules/ml-matrix/src/matrix.js
最新发布
qq_58307541的博客
05-30 386
项目报./node_modules/ml-matrix/src/matrix.js。
es索引的性能优化配置
赵成默
05-29 205
查看所有模板，如果数据量多的话，可以进行纵向分表，例如按照日期将索引分开，然后通过建模板，配置索引的参数。设置索引每个节点最大的分片数:规则下面的数要大于分片数（包括副本）/集群集群节点数。配置分片数:一般来说内存每G最多20个，每个分片数据大概在20G到50G。查看unassigned的原因，通过查看原因也能得到问题的解决方案。配置副本数:一般1就行，需要更高的可靠性可以设置为3。GET _template/模板名称。刷盘时间，数据实时性的延迟。
elasticsearch入门
06-07
ElasticSearch是一个开源的分布式搜索引擎，基于Lucene库。它可以快速地存储、搜索和分析大量的数据。ElasticSearch被广泛用于日志分析、全文搜索、安全分析和商业智能等领域。 以下是ElasticSearch的入门指南： 1. 安装ElasticSearch：你可以从ElasticSearch官网下载并安装ElasticSearch。根据你的操作系统选择相应的版本。 2. 启动ElasticSearch：启动ElasticSearch非常简单。只需在终端中运行elasticsearch命令即可。 3. 探索ElasticSearch：通过在浏览器中输入http://localhost:9200/，可以访问ElasticSearch的REST API，并能看到ElasticSearch的基本信息。 4. 创建索引：在ElasticSearch中，数据被存储在索引中。你可以通过发送PUT请求来创建一个新的索引。例如，你可以使用以下命令来创建一个名为“my_index”的新索引： ``` PUT /my_index { "settings": { "number_of_shards": 1, "number_of_replicas": 0 } } ``` 5. 添加文档：在ElasticSearch中，文档是指一个JSON对象。你可以使用以下命令将文档添加到“my_index”索引中： ``` PUT /my_index/_doc/1 { "title": "Elasticsearch入门", "author": "John", "content": "Elasticsearch是一个开源的分布式搜索引擎" } ``` 6. 搜索文档：你可以使用以下命令来搜索“my_index”索引中的所有文档： ``` GET /my_index/_search ``` 7. 进行查询：你可以使用查询语句来搜索“my_index”索引。例如，你可以使用以下命令来搜索标题包含“Elasticsearch”的所有文档： ``` GET /my_index/_search { "query": { "match": { "title": "Elasticsearch" } } } ``` 这就是ElasticSearch的入门指南。对于更深入的学习，你可以查看ElasticSearch官方文档。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值