Elasticsearch

最新推荐文章于 2024-05-09 07:00:00 发布
最新推荐文章于 2024-05-09 07:00:00 发布
阅读量2.1k 收藏 3
点赞数
文章标签： elasticsearch 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/FightingBoy_/article/details/127941013
版权

1. es介绍

   1.1 什么是es

        elasticsearch是一个基于Lucene的分布式全文检索服务器，它隐藏了Lucene的复杂性，对外提供Restful 接口来操作索引、搜索。

   1.2 es原理

        1. 索引结构

         下图是ElasticSearch的索引结构，右边黑蓝色色部分是原始文档，左边黄色部分是逻辑结构，逻辑结构也是为了更好的去描述ElasticSearch的工作原理及去使用物理结构中的索引文件。

        2. 倒排索引

        正排索引：查字典时从第一页开始找，直到找到为止(文档--->关键字)

        倒排索引：也常被称为反向索引，倒排索引是从关键字到文档的映射（已知关键字求文档）。

        倒排索引表的组成：
            trem：关键字
            term------>document：页码
            document：文档

        分词列表的特点：
             1)不重复
             2)不搜索的field(图片)不参加分词
             3)“的、地、得、a、an、the” 语气词不参加分词 

   1.3 es的启动器

        elasticsearch-rest-high-level-client

2. es的安装和启动

   2.1 安装

1. 设置虚拟机内存>1.5G，并重启
2. 创建admin账户，并把upload和local目录的拥有者设置为admin
   #从5.0开始，ElasticSearch 安全级别提高了，不允许采用root帐号启动，所以我们要添加一个用户。
     groupadd elk #创建elk 用户组
     useradd admin
     passwd admin
     usermod -G elk admin  #将admin用户添加到elk组
     chown -R admin:elk /usr/upload
     chown -R admin:elk /usr/local  #chown将指定文件的拥有者改为指定的用户或组 -R处理指定目录以及其子目录下的所有文件
     su admin
3. 解压安装包
     d /usr/upload
     tar -zxvf elasticsearch-6.2.3.tar.gz -C /usr/local
4. 修改elasticsearch.yml,用于配置Elasticsearch运行参数
     vim /usr/local/elasticsearch-6.2.3/config/elasticsearch.yml：
        cluster.name: power_shop
        node.name: power_shop_node_1
        network.host: 0.0.0.0
        http.port: 9200
        transport.tcp.port: 9300
        discovery.zen.ping.unicast.hosts: ["192.168.204.132:9300", "192.168.204.133:9300"]
        path.data: /usr/local/elasticsearch-6.2.3/data
        path.logs: /usr/local/elasticsearch-6.2.3/logs
        http.cors.enabled: true
        http.cors.allow-origin: /.*/
5. 修改jvm.options,用于配置Elasticsearch JVM设置 
     vim /usr/local/elasticsearch-6.2.3/config/jvm.options：
        -Xms512m
        -Xmx512m
6. 修改文件创建权限，给admin用户增加权限
     su root
     vim /etc/security/limits.conf：#追加以下下内容
        * soft nofile 65536
        * hard nofile 65536
7. 修改虚拟内存大小，ES需要开辟一个262144字节以上空间的虚拟内存
     su root
     vim /etc/sysctl.conf：
        vm.max_map_count=655360 #限制一个进程可以拥有的VMA(虚拟内存区域)的数量
     sysctl -p  #让sysctl.conf配置生效

   2.2 启动和关闭

su admin
启动：
    ./elasticsearch
    #或
    ./elasticsearch -d
关闭：
    ps -ef | grep elasticsearch
    kill -9 pid

   2.3 测试

#访问http://192.168.204.132:9200，返回以下结果：
{
  "name" : "power_shop_node_1", # node name 结点名称。随机分配的结点名称
  "cluster_name" : "power_shop", # cluster name 集群名称。 默认的集群名称
  "cluster_uuid" : "RqHaIiYjSoOyrTGq3ggCOA", # 集群唯一 ID
  "version" : {
    "number" : "6.2.3", #版本号
    "build_hash" : "c59ff00", 
    "build_date" : "2018-03-13T10:06:29.741383Z",#发布日期
    "build_snapshot" : false,#是否快照版本
    "lucene_version" : "7.2.1",#lucene版本号
    "minimum_wire_compatibility_version" : "5.6.0",
    "minimum_index_compatibility_version" : "5.0.0"
  },
  "tagline" : "You Know, for Search"
}

 3. 安装kibana

   3.1 kibana介绍

        Kibana是ES提供的一个基于Node.js的管理控制台, 可以很容易实现高级的数据分析和可视化，以图标的形式展现出来。解压即安装，下载地址：https://www.elastic.co/cn/

        kibana可以用来编辑请求语句的，方便学习操作es的语法。有时在进行编写程序，写到查询语句时，往往我会使用kibana进行书写，然后再粘贴到程序中。（不容易出错）

   3.2 修改配置

server.port: 5601
server.host: "0.0.0.0" #允许来自远程用户的连接
elasticsearch.url: http://192.168.204.132:9200 #Elasticsearch实例的URL

   3.3 启动测试

        浏览器访问：http://127.0.0.1:5601

4. 安装head

   4.1 head介绍

        head插件是ES的一个可视化管理插件，用来监视ES的状态，并通过head客户端和ES服务进行交互，比如创建映射、创建索引等。从ES6.0开始，head插件支持使得node.js运行。下载地址：https://github.com/mobz/elasticsearch-head

   4.2 启动测试

        运行： npm run start

        浏览器访问：http://127.0.0.1:9100/

5. es入门案例

   5.1 index管理

    1. 创建index

    索引库。包含若干相似结构的 Document 数据，相当于数据库的database。

    语法：PUT /index_name

    如：

PUT /java06
{
  "settings": {
    "number_of_shards": 2,
    "number_of_replicas": 1
  }
}

    number_of_shards - 表示一个索引库将拆分成多片分别存储不同的结点，提高了ES的处理能力

    number_of_replicas - 是为每个 primary shard分配的replica shard数，提高了ES的可用性，如果只有一台机器，设置为0

    2. 修改index

    注意：索引一旦创建，primary shard 数量不可变化，可以改变replica shard 数量。

    语法：PUT /index_name/_settings

    如：

PUT /java06/_settings
{
  "number_of_replicas" : 1
}

    ES 中对 shard 的分布是有要求的，有其内置的特殊算法：

    Replica shard 会保证不和他的那个 primary shard 分配在同一个节点上；如过只有一个节点，则此案例执行后索引的状态一定是yellow。

    3. 删除index

DELETE /java06[, other_index]

   5.2 mapping管理

        映射，创建映射就是向索引库中创建field（类型、是否索引、是否存储等特性）的过程，下边是document和field与关系数据库的概念的类比：

elasticsearch关系数据库
index(索引库)database(数据库)
type(类型)table(表)
document(文档)row(记录)
field(域)column(字段)

        注意：6.0之前的版本有type（类型）概念，type相当于关系数据库的表，ES6.x 版本之后，type概念被弱化ES官方将在ES7.0版本中彻底删除type。

    1. 创建mapping

     语法：POST /index_name/type_name/_mapping

    如：

POST /java06/course/_mapping
{
  "properties": {
     "name": {
        "type": "text"
     },
     "description": {
        "type": "text"
     },
     "studymodel": {
        "type": "keyword"
     }
  }
}

    效果：

     2. 查询mapping

    查询所有索引的映射：GET /java06/course/_mapping

    3.更新mapping

    映射创建成功可以添加新字段，已有字段不允许更新。

    4.删除mapping

    通过删除索引来删除映射

   5.3 document管理

    1. 创建document

        ES中的文档相当于MySQL数据库表中的记录。

  • PSOT语法

        此操作为 ES 自动生成 id 的新增 Document 方式。

        语法：POST /index_name/type_name/id

        如：

POST /java06/course/1
{
  "name":"python从入门到放弃",
  "description":"人生苦短，我用Python",
  "studymodel":"201002"
}

POST /java06/course
{
  "name":".net从入门到放弃",
  "description":".net程序员谁都不服",
  "studymodel":"201003"
}
  • PUT语法

        此操作为手工指定 id 的 Document 新增方式。

        语法：PUT/index_name/type_name/id{field_name:field_value}

        如：

PUT /java06/course/2
{
  "name":"php从入门到放弃",
  "description":"php是世界上最好的语言",
  "studymodel":"201001"
}

结果：

{
  "_index": "test_index", 新增的 document 在什么 index 中，
  "_type": "my_type", 新增的 document 在 index 中的哪一个 type 中。
  "_id": "1", 指定的 id 是多少
  "_version": 1, document 的版本是多少，版本从 1 开始递增，每次写操作都会+1
  "result": "created", 本次操作的结果，created 创建，updated 修改，deleted 删除
  "_shards": { 分片信息
      "total": 2, 分片数量只提示 primary shard
      "successful": 1, 数据 document 一定只存放在 index 中的某一个 primary shard 中
      "failed": 0
  },
  "_seq_no": 0, 
  "_primary_term": 1
}

通过head查询数据：

    2. 查询document

    语法：GET /index_name/type_name/id

     或  GET /index_name/type_name/_search?q=field_name:field_value

    如：根据课程id查询文档

GET /java06/course/1

    如：查询所有记录

GET /java06/course/_search

    如：查询名称中包括php 关键字的的记录

GET /java06/course/_search?q=name:门

结果：

{
  "took": 1, # 执行的时长。单位毫秒
  "timed_out": false, # 是否超时
  "_shards": { # shard 相关数据
    "total": 1, # 总计多少个 shard
    "successful": 1, # 成功返回结果的 shard 数量
    "skipped": 0,
    "failed": 0
  },
  "hits": { # 搜索结果相关数据
    "total": 3, # 总计多少数据，符合搜索条件的数据数量
    "max_score": 1, # 最大相关度分数，和搜索条件的匹配度
    "hits": [# 具体的搜索结果
      {
        "_index": "java06",# 索引名称
        "_type": "course", # 类型名称
        "_id": "1",# id 值
        "_score": 1, # 匹配度分数，本条数据匹配度分数
        "_source": { # 具体的数据内容
          "name": "php从入门到放弃",
          "description": "php是世界上最好的语言",
          "studymodel": "201001"
        }, {
			"_index": "java06",
			"_type": "course",
			"_id": "2",
			"_score": 0.13353139,
			"_source": {
				"name": "php从入门到放弃",
				"description": "php是世界上最好的语言",
				"studymodel": "201001"
			}
		}, {
			"_index": "java06",
			"_type": "course",
			"_id": "6ljFCnIBp91f7uS8FkjS",
			"_score": 0.13353139,
			"_source": {
				"name": ".net从入门到放弃",
				"description": ".net程序员谁都不服",
				"studymodel": "201003"
			}
		}
	 ]
  }
}

   3. 删除document

     ES 中执行删除操作时，ES先标记Document为deleted状态，而不是直接物理删除。当ES 存储空间不足或工作空闲时，才会执行物理删除操作，标记为deleted状态的数据不会被查询搜索到（ES 中删除 index ，也是标记。后续才会执行物理删除。所有的标记动作都是为了NRT（近实时）实现）

    语法：DELETE /index_name/type_name/id

    如：

DELETE /java06/course/3

   5.4 es读写过程

    1.documnet routing（数据路由）

     当客户端创建document的时候，es需要确定这个document放在该index哪个shard上，这个过程就是document routing。

     路由过程：

路由算法：shard = hash(5) %number_of_primary_shards

id:document的_id，可能是手动指定,也可能是自动生成,决定一个document在哪个shard上

number_of_primary_shards：主分片数量。

    2.为什么primary shard数量不可变？

     原因：假如我们的集群在初始化的时候有5个primary shard，我们往里边加入一个document id=5，假如hash(5)=23,这时该document 将被加入 (shard=23%5=3)P3这个分片上。如果随后我们给es集群添加一个primary shard ，此时就有6个primary shard，当我们GET id=5 ，这条数据的时候，es会计算该请求的路由信息找到存储他的 primary shard（shard=23%6=5） ，根据计算结果定位到P5分片上。而我们的数据在P3上。所以es集群无法添加primary shard，但是可以扩展replicas shard。

   3.luke查看ES的逻辑结构

  • 拷贝elasticsearch-6.2.3/data到windows
  • 双击luke.bat，启动luke
  • 使用luke打开data\nodes\0\indices路径

 

一行代码俩BUG
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
（一：原理4）ElasticSearch内存分配以及优化
weixin_43930865的博客
12-24 8358
ElasticSearch内存分配以及优化 1：服务器内存分配 内存消耗大户： 1：Elasticsearch 2：Lucene(全文搜索) 2：内存解释 2.1：Elasticsearch Elasticsearch默认安装后设置的堆内存是1GB，实际业务肯定不够，需要进行配置，不要超过32G 因为如果堆大小小于 32 GB，JVM 可以利用指针压缩，这可以大大降低内存的使用：每个指针 4 字...
ElasticSearch搜索引擎： 内存分析与设置
大叶子不小的博客
10-09 940
在 Elasticsearch 的运行过程中，如何合理分配与设置内存是一件十分重要的事情，否则十分容易出现各种问题。
【DevOps】Elasticsearch为什么需要大内存，怎么优化？
最新发布
Coder加油站的专栏
05-09 1315
在 Elasticsearch 中，分片（Shard）是索引的基本单位，每个索引由多个分片组成。每个分片实际上是一个独立的 Lucene 索引。Elasticsearch 需要大量内存来满足其快速索引、搜索和聚合的需求，同时也要维持高可用性和灵活性。合理配置内存和调整相关参数，可以显著提高 Elasticsearch 的性能和稳定性。通过合理规划分片数量和管理策略，可以有效降低 Elasticsearch 的内存占用。当前有 10 个分片，目标是将其缩减到 2 个分片。使用别名将新索引映射为旧索引名称。
【ElasticSearch】ElasticSearch 内存设置原则
ihero的博客
08-06 2907
由于ES构建基于lucene,而lucene设计强大之处在于lucene能够很好的利用操作系统内存来缓存索引数据，以提供快速的查询性能。lucene的索引文件segements是存储在单文件中的，并且不可变，对于OS来说，能够很友好地将索引文件保持在cache中，以便快速访问；通过在elasticsearch.yml中bootstrap.memory_lock: true，以保持JVM锁定内存，保证ES的性能。当机器内存小于64G时，遵循通用的原则，50%给ES，50%留给lucene。
Elasticsearch 内存配置
悟能的师兄的专栏
12-09 3468
Elasticsearch默认安装后设置的内存是1GB，对于任何一个业务部署来说，这个都太小了。如果你正在使用这些默认堆内存配置，你的集群配置可能有点问题。 一：简单处理方式 这里有两种方式修改Elasticsearch的堆内存（下面就说内存好了），最简单的一个方法就是指定ES_HEAP_SIZE环境变量。服务进程在启动时候会读取这个变量，并相应的设置堆的大小。举例，你可以用下面的命令设置它 ...
elasticsearch 内存大小设置
m0_67402125的博客
09-02 2548
其中，jvm.options可以修改es运行时候的内存分配。打开jvm.options文件，我们可以发现默认设置的内存是4g。找到elasticsearch的安装目录，然后找到config文件夹，里面都是相关的配置文件。将内存修改为你想要的实际大小，保存，重新启动es即可。
es-head Elasticsearch的可视化操作插件
12-19
es-head是一个针对Elasticsearch的可视化操作插件。它提供了一个便捷的操作工具，可以连接Elasticsearch搜索引擎，并提供可视化的操作页面，对Elasticsearch进行各种设置和数据检索功能的管理。 es-head 插件可以在...
elasticSearch(ES)最新版 ik分词插件7.10 elasticsearch-analysis-ik-7.10.0
11-20
Elasticsearch（ES）是一种流行的开源全文搜索引擎，它基于Lucene构建，提供了分布式、RESTful风格的搜索和分析引擎服务。在中文环境下，为了实现精确的分词和搜索，我们需要安装适合版本的分词插件，如“elastic...
ElasticSearch官方测试数据
09-14
Elasticsearch（ES）是一种流行的开源全文搜索引擎，它基于Lucene库构建，被广泛用于大数据分析、日志聚合、实时搜索和索引等场景。官方提供的测试数据集是检验Elasticsearch功能、性能和稳定性的关键资源，可以帮助...
(狂神)ElasticSearch快速入门笔记，ElasticSearch基本操作以及爬虫(Java-ES仿京东实战)
04-18
(狂神)ElasticSearch快速入门笔记，ElasticSearch基本操作以及爬虫(Java-ES仿京东实战),包含了小狂神讲的东西，特别适合新手学习，笔记保存下来可以多看看。好记性不如烂笔头哦~，ElasticSearch，简称es，es是一个...
es docker 部署 elasticsearch.yml
03-19
docker run --name elasticsearch7.16.3 -p 127.0.0.1:9200:9200 -p 127.0.0.1:9300:9300 -e "discovery.type=single-node" -v /Users/xingyue/Home/xingyue/学习/工程化/es/elasticsearch.yml:/usr/share/elastic...
Elasticsearch7.8.0版本优化——内存设置
小志的博客
02-28 1049
Elasticsearch7.8.0版本优化——内存设置
【Elasticsearch专栏 18】深入探索：Elasticsearch核心配置与性能调优 & 保姆级教程 & 企业级实战
weixin_40736233的博客
02-26 1458
通过对Linux系统的内存、文件描述符、网络、I/O、CPU和线程、JVM和GC、集群和分片、监控和日志记录以及安全性等方面的优化设置，可以显著提升Elasticsearch集群的性能和稳定性。然而，随着数据量的不断增长和业务需求的不断变化，可能需要持续地对Elasticsearch集群进行优化和调整。
深入解析Elasticsearch的内存架构与管理
码到三十五
02-07 1317
Elasticsearch，作为一款功能强大的开源搜索和分析引擎，通过其独特的内存架构和管理策略，实现了对大规模数据集的快速索引和查询。Elasticsearch通过LRU（最近最少使用）算法和其他策略来管理这些内存池的使用，确保重要的操作能够得到足够的内存资源。此外，堆外内存的使用还可以避免JVM的内存限制，使Elasticsearch能够处理更大的数据集。当内存不足时，Elasticsearch会根据需要清除缓存中的数据，以确保重要的操作能够得到足够的内存资源。每个内存池都有其特定的用途和管理策略。
ElasticSearch集群内存占用高？如何降低内存占用看这篇文章就够啦！（冻结索引）
小赵的博客
11-16 2873
经常搜索的索引被保留在内存中，因为重建索引和帮助高效搜索需要花费时间。另一方面，可能存在我们很少访问的索引。这些。这样的索引称为。每当搜索分片时，Elasticsearch都会构建冻结索引的每个分片的即时数据结构，并在搜索完成后立即丢弃这些数据结构。因为Elasticsearch不会在内存中维护这些临时数据结构，所以冻结索引消耗的堆要比普通索引少得多。与其他方式相比，这允许更高的磁盘与堆的比率。
01-ES-QL for Community - Chinese 12.03 2023 Beijing
12-03
详细描述 ES|QL 新的管道语言

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值