elastic 概述

最新推荐文章于 2024-05-25 08:36:45 发布
最新推荐文章于 2024-05-25 08:36:45 发布
阅读量1.3k 收藏 6
点赞数
文章标签： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_60934893/article/details/128023219
版权

引言

1.1 海量数据

在海量数据中执行搜索功能时，如果使用MySQL，效率太低。

1.2 全文检索

在海量数据中执行搜索功能时，如果使用MySQL，效率太低。

1.3 高亮显示

将搜索关键字，以红色的字体展示。

ES概述   ES 也是一个nosql

ES的介绍

  • ES是一个使用Java语言并且基于Lucene编写的搜索引擎框架，他提供了分布式的全文搜索功能，提供了一个统一的基于RESTful风格的WEB接口，官方客户端也对多种语言都提供了相应的API。

  • Lucene：Lucene本身就是一个搜索引擎的底层。

  • 分布式：ES主要是为了突出他的横向扩展能力。

  • 全文检索：将一段词语进行分词，并且将分出的单个词语统一的放到一个分词库中，在搜索时，根据关键字去分词库中检索，找到匹配的内容。（倒排索引）

  • RESTful风格的WEB接口：操作ES很简单，只需要发送一个HTTP请求，并且根据请求方式的不同，携带参数的同，执行相应的功能。

  • 应用广泛：Github.com，WIKI，Gold Man用ES每天维护将近10TB的数据。

ES和Solr

  • Solr在查询死数据时，速度相对ES更快一些。但是数据如果是实时改变的，Solr的查询速度会降低很多，ES的查询的效率基本没有变化。

  • Solr搭建基于需要依赖Zookeeper来帮助管理。ES本身就支持集群的搭建，不需要第三方的介入。

  • 最开始Solr的社区可以说是非常火爆，针对国内的文档并不是很多。在ES出现之后，ES的社区火爆程度直线上升，ES的文档非常健全。

  • ES对现在云计算和大数据支持的特别好。

倒排索引

将存放的数据，以一定的方式进行分词，并且将分词的内容存放到一个单独的分词库中。

当用户去查询数据时，会将用户的查询关键字进行分词。

然后去分词库中匹配内容，最终得到数据的id标识。

根据id标识去存放数据的位置拉取到指定的数据。

 

ElasticSearch安装

usr/local/docker/es 目录下   vim docker-compose.yml文件   kibana es的图形化管理工具 ip改为自己的ip

version: "3.1"
services:
  elasticsearch:
    image: daocloud.io/library/elasticsearch:6.5.4
    restart: always
    container_name: elasticsearch
    ports:
      - 9200:9200
  kibana:
    image: daocloud.io/library/kibana:6.5.4
    restart: always
    container_name: kibana
    ports:
      - 5601:5601
    environment:
      - elasticsearch_url=http://192.168.199.109:9200
    depends_on:
      - elasticsearch

安装IK分词器

如果以上方法执行不了，可以采用本地离线方法

注意：如果进入el容器闪退，要增加虚拟内存  

去这编辑这个文件   vim /etc/sysctl.conf 

设置 vm的虚拟内存大小  vm.max_map_count=262144 

查看设置完成的内存状态  sysctl -p

 

 

分词器离线安装

进入es容器内部，找到plugins目录，创建一个ik目录，进入ik，pwd找见当前地址

退出容器，docker cp ik 分词器 容器id：刚pwd地址

进去容器目录 unzip ik分词器解压

退出容器重启es就好了

 

 

 

安装好之后  访问9200 有了页面就好了  安装ik分词器为了支持中文分词 

以下是案例    analyze 分析

 

ElasticSearch基本操作

ES的结构

1.索引Index，分片和备份   相当于mysql的数据库

  • ES的服务中，可以创建多个索引。

  • 解释：索引 index  索引相当于数据库，可以创建多个数据库

  • 每一个索引默认被分成5片存储。

  • 解释：每个数据库分成五片存储

  • 每一个分片都会存在至少一个备份分片。

  • 解释：每一分片至少一个备份分片

  • 备份分片默认不会帮助检索数据，当ES检索压力特别大的时候，备份分片才会帮助检索数据。

  • 备份的分片必须放在不同的服务器中。

 

 

 

2.类型 Type  相当于数据库的表

一个索引下，可以创建多个类型。 Ps：根据版本不同，类型的创建也不同。

 

3.文档 Doc  相当于数据库的一行

一个类型下，可以有多个文档。这个文档就类似于MySQL表中的一行数据。 多个文档多行数据

 

 

4. 属性 Field  相当于mysql的列

一个文档中，可以包含多个属性。类似于MySQL表中的一行数据存在多个列。

 

操作ES的RESTful语法

 

索引的操作

创建一个索引

PUT /person
{
  "settings": {
    "number_of_shards": 5,
    "number_of_replicas": 1
  }
}

查看索引信息

GET /person

删除索引

DELETE /person

 

ES中Field可以指定的类型

  • 字符串类型：

    • text：一把被用于全文检索。 将当前Field进行分词。

    • keyword：当前Field不会被分词。

  • 数值类型：

    • long：取值范围为-9223372036854774808~922337203685477480(-2的63次方到2的63次方-1)，占用8个字节

    • integer：取值范围为-2147483648~2147483647(-2的31次方到2的31次方-1)，占用4个字节

    • short：取值范围为-32768~32767(-2的15次方到2的15次方-1)，占用2个字节

    • byte：取值范围为-128~127(-2的7次方到2的7次方-1)，占用1个字节

    • double：1.797693e+308~ 4.9000000e-324 (e+308表示是乘以10的308次方，e-324表示乘以10的负324次方)占用8个字节

    • float：3.402823e+38 ~ 1.401298e-45(e+38表示是乘以10的38次方，e-45表示乘以10的负45次方)，占用4个字节

    • half_float：精度比float小一半。

    • scaled_float：根据一个long和scaled来表达一个浮点型，long-345，scaled-100 -> 3.45

  • 时间类型：

    • date类型，针对时间类型指定具体的格式

  • 布尔类型：

    • boolean类型，表达true和false

  • 二进制类型：

    • binary类型暂时支持Base64 encode string

  • 范围类型：

    • long_range：赋值时，无需指定具体的内容，只需要存储一个范围即可，指定gt，lt，gte，lte

    • integer_range：同上

    • double_range：同上

    • float_range：同上

    • date_range：同上

    • ip_range：同上

  • 经纬度类型：

    • geo_point：用来存储经纬度的

  • ip类型：

    • ip：可以存储IPV4或者IPV6

其他的数据类型参考官网：Field datatypes | Elasticsearch Guide [6.5] | Elastic

创建索引并指定数据结构

# 创建索引，指定数据结构
PUT /book
{
  "settings": {
    # 分片数
    "number_of_shards": 5,
    # 备份数
    "number_of_replicas": 1
  },
  # 指定数据结构
  "mappings": {
    # 类型 Type
    "novel": {
      # 文档存储的Field
      "properties": {
        # Field属性名
        "name": {
    		# 类型
          "type": "text",
    		# 指定分词器
          "analyzer": "ik_max_word",
    		# 指定当前Field可以被作为查询的条件
          "index": true ,
    		# 是否需要额外存储
          "store": false 
        },
        "author": {
          "type": "keyword"
        },
        "count": {
          "type": "long"
        },
        "on-sale": {
          "type": "date",
           # 时间类型的格式化方式 
          "format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
        },
        "descr": {
          "type": "text",
          "analyzer": "ik_max_word"
        }
      }
    }
  }
}

 

文档的操作

文档在ES服务中的唯一标识，_index，_type，_id三个内容为组合，锁定一个文档，操作是添加还是修改。

 

 

新建文档

自动生成_id 

# 添加文档，自动生成id
POST /book/novel
{
  "name": "盘龙",
  "author": "我吃西红柿",
  "count": 100000,
  "on-sale": "2000-01-01",
  "descr": "山重水复疑无路，柳暗花明又一村"
}

手动指定_id 

# 添加文档，手动指定id
PUT /book/novel/1
{
  "name": "红楼梦",
  "author": "曹雪芹",
  "count": 10000000,
  "on-sale": "1985-01-01",
  "descr": "一个是阆苑仙葩，一个是美玉无瑕"
}

修改文档

覆盖式修改 

# 添加文档，手动指定id
PUT /book/novel/1
{
  "name": "红楼梦",
  "author": "曹雪芹",
  "count": 4353453,
  "on-sale": "1985-01-01",
  "descr": "一个是阆苑仙葩，一个是美玉无瑕"
}

doc修改方式 

# 修改文档，基于doc方式
POST /book/novel/1/_update
{
  "doc": {
     # 指定上需要修改的field和对应的值
    "count": "1234565"
  }
}

删除文档

根据id删除 

# 根据id删除文档
DELETE /book/novel/_id

高冷大猛男
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Elasticsearch 简介
Elastic 中国社区官方博客
08-08 16万+
Elasticsearch是一个非常强大的搜索引擎。它目前被广泛地使用于各个IT公司。Elasticsearch是由Elastic公司创建并开源维护的。它的开源代码位于https://github.com/elastic/elasticsearch。同时，Elastic公司也拥有Logstash及Kibana开源项目。这个三个开源项目组合在一起，就形成了 ELK软件栈。他们三个共同形成了一个强大的...
Elastic：开发者上手指南
热门推荐
Elastic 中国社区官方博客
02-25 14万+
你们好，我是Elastic的刘晓国。如果大家想开始学习Elastic的话，那么这里将是你理想的学习园地。在我的博客几乎涵盖了你想学习的许多方面。在这里，我来讲述一下作为一个菜鸟该如何阅读我的这些博客文章。 我们可以按照如下的步骤来学习： 1)Elasticsearch简介：对Elasticsearch做了一个简单的介绍 2)Elasticsearch中的一些重要概念:cluster, n..........................................................
分布式搜索引擎之Elasticsearch
CherryXieのblog
05-25 1059
Elasticsearch是一个开源的分布式搜索和分析引擎，用于处理大规模数据的搜索、分析和可视化。它是基于Apache Lucene库构建的，提供了强大的全文搜索、实时数据分析和复杂查询的功能。
Elastic基本概念
呼卓宇的博客
12-14 1496
它可以快速地储存、搜索和分析海量数据。维基百科、Stack Overflow、Github 都采用它。 Elastic 的底层是开源库 Lucene。但是，你没法直接用 Lucene，必须自己写代码去调用它的接口。Elastic 是 Lucene 的封装，提供了 REST API 的操作接口，开箱即用。 Elastic 默认端口：9200端口 基本概念（从小到大） Document Index 里面单条的记录称为 Document（文档），许多条 Document 构成了一个 Index。 Document
Elasticsearch - 核心概念
上善若水，水善利万物而不争。
11-02 5737
对于学习Elasticsearch，掌握以下基本概念非常重要，你可以试着将以下概念和mysql（库、表、数据行、字段）进行对位。基本概念Elasticsearch 有几个核心概念。从一开始理解这些概念会对整个学习过程有莫大的帮助。接近实时（NRT）Elasticsearch 是一个接近实时的搜索平台。这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟（通常是1
Elasticsearch集群
IT学院
12-04 666
今日授课目标 能够完成索引库的操作：新增、查询、删除 能够完成映射操作：配置映射，查看映射 能够完成文档的操作：新增、修改、删除 能完成请求体查询：基本查询、结果过滤、高亮查询，分页及排序 ES前置准备Lombok讲解 第一章 Elasticsearch集群 1.1 单点的问题 单台服务器，往往都有最大的负载能力，超过这个阈值，服务器性能就会大大降低甚至不可用。单点的elasticsearch也是一样，那单点的es服务器存在哪些可能出现的问题呢？ 单台机器存储容量有限 单服务器容易出现单点故障，无法实
elasticsearch概述及应用.pdf
03-12
Elasticsearch，简称ES，是一个基于Lucene构建的开源、分布式、RESTful搜索引擎。它提供了一个分布式多租户能力的全文搜索引擎，具有HTTP Web界面和无模式JSON文档。Elasticsearch是用Java开发的，并作为Apache许可...
Elasticsearch概述、原理及应用.pdf
03-26
Elasticsearch是一个基于Lucene的开源搜索和分析引擎，它提供了一个分布式、多租户能力的全文搜索引擎，具有近乎实时的搜索和数据分析功能。Elasticsearch以其高扩展性、分布式特性以及强大的搜索能力，赢得了广大...
elasticsearch7.14.3.rar
12-07
**Elasticsearch 概述** Elasticsearch 是基于 Lucene 的分布式搜索引擎，它提供了实时、可扩展的数据存储和搜索能力。其核心特性包括： 1. **分布式**：Elasticsearch 支持横向扩展，可以通过添加更多的节点来提升...
ElasticSearch.pdf
最新发布
07-03
二、ES概述 2.1 ES的介绍 2.2 ES和Solr 2.3 倒排索引 三、 ElasticSearch安装 3.1 安装ES&Kibana 3.2 安装IK分词器 四、 ElasticSearch基本操作 4.1 ES的结构 4.1.1 索引Index，分片和备份 4.1.2 类型 Type(废止) ...
elasticsearch组件APM
03-10
APM概述** APM主要关注应用程序的性能指标，如响应时间、吞吐量和错误率。它支持多种编程语言，包括Java、Python、Ruby、Node.js、.NET、Go等，并提供相应的客户端库，使得开发者可以在代码中轻松集成APM功能。...
elastic-基础知识
langsiming的博客
11-06 2176
数据类型 数值型 - long 文本型 - text, 会被分词处理 布尔型 - boolean 关键字 - keyword 数组，没有数组这个类型，但是支持数组这个结构 dynamic mapping 动态构建mapping 什么时候会动态构建mapping？ 不显性的创建索引，直接使用put向索引中加入文档 默认Mapping支持dynamic,即dynamic=true，文档中加入新的字段时， 该字段可以被搜索，数据也在_source中出现 当dynamic=false，数据会存在_source
elasticsearch安装详细教程
qq_1259799716的博客
09-15 1万+
Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎,一个建立在全文搜索引擎 Apache Lucene™ 基础上的搜索引擎.当然 Elasticsearch 并不仅仅是 Lucene 那么简单，它不仅包括了全文搜索功能，还可以进行以下工作:1.分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索。2.实时分析的分布式搜索引擎。3.可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据资料Elastic官网：https://www.elastic.co/cn/
第一章 Elastic入门基础概念以及基本操作
weixin_42862818的博客
03-23 717
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、基本概念索引（index）文档（doc）集群（cluster）节点（node）分片（shard）段（segment）二、基本操作CRUD基本API总结 前言 这一节主要讲述ES的一些基本概念，例如：索引、文档、集群、节点、分片、段、副本等以及，ES的基本操作包括CRUD和基础API使用 一、基本概念 索引（index） 索引（index）在ES中可以抽象的理解一张表，一类数据的聚集，它通过Mapping来定义数据结构，
认知篇：Elastic认证工程师，完全解读
Elastic开源社区
08-22 1万+
Elastic认证是什么？ Elastic认证，即：Elastic Certified Engineer（Elastic认证工程师），官方的解释是Elastic官方推出的对于Elasticsearch技术的专家认证。国内多位一线大厂高级架构师、CTO都表示对此认证十分认可。 认证者需要通过ELastic官方的认证专家考试，费用为400美元。用一句话来概括，就是用400美元证明你很屌（前提是通过考试）。证书就是下面这个样子： 官方FAQ地址：https://www.elastic.co/cn/trainin
elastic_search 入门使用
bobo_simpler的博客
02-02 1498
基本概念索引(index) 一个 索引 类似于传统关系数据库中的一个 表 ，是一个存储关系型文档的地方文档类型(type) 【7.0版本后移除】文档(doc)一个doc代表索引里的一条数据，像数据库表里的一条记录，doc是用json格式来存储数据es架构设计架构各组件简单释义:gateway 底层存储系统，一般为文件系统，支持多种类型。distributed lucence directory 基于lucence的分布式框架，封装了建立倒排索引、数据存储、translog、segment等实现。模块层 ES
Elastic：总结收集日志的几种方法
Elastic 中国社区官方博客
11-21 4807
到目前为止，我们看到有很多中不同的方法来收集日志。甚至，我们针对同样的一个日志，有好多种方法来进行采集。在今天的这篇文章中，我来简单里回顾一下。
Elastic学习方法论
Elastic开源社区
01-06 1036
Elastic学习方法论如何使用正确的姿势学习Elastic初学者不建议把看书作为首选方式找到自己的领路人，少走弯路学会查阅官方文档如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 如何使用正确的姿势学习Elastic 一直以来，忽略了对博客的重视。一直以来我从事Elast
ElasticSearch基本介绍
程序员劝退师的博客
08-22 859
索引 关于索引这玩意在MySQL中有详细的介绍，这里都是差不多的概念，可以简单看看MySQL高新能索引，索引又分为正向索引和方向索引，通常MySQL就是正向索引的典型案例！ 正向索引 以数据记录的id，或者name作为搜索条件，通过匹配id或者那么列得到全部记录的操作称为正向索引，这种组织方式在建立索引结构比较简单，易于维护，但是在大文本检索的时候效率太低，所以这就诞生了反向索引的概念！ 反向索引 反向索引，一般也被称为倒排索引 倒排索引以字或者关键字进行索引，表中关键字对应的记录表项记录了出现这个字或者

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值