ElasticSearch

已于 2023-06-10 14:38:28 修改
阅读量279 收藏 2
点赞数 1
分类专栏： 猎才智慧充电 文章标签： elasticsearch 大数据 搜索引擎
于 2023-06-10 14:34:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/smlzhang/article/details/131140473
版权

1.ElasticSearch

1.1.业务分析

1.1.1.需求

假定有30万台设备在充电，每隔30秒上传充电进度

每秒上传 1万个充电进度数据

1天 24*60 * 60 * 1万 =86400w 大约8.6亿个数据

需要查询温度大于43度，告警，大于48度，必须停止充电

1.1.2.难点

数据量大

1.1.3.核心目标

高性能

1.2.技术解决方案

1.2.1.mysql模糊查询

正排索引：先找文档，再找词
从8亿行中查找温度大于48度的数据

1.2.2.Es 查询

分布式存储

在这里插入图片描述

分布式计算

案例：统计学生会主席票数
在这里插入图片描述

分词

字典：[华为,mate10,手机]
文本：华为mate10手机一台3300元
分词过程：华为，mate10

倒排索引

在这里插入图片描述
关键词列表
倒排索引是根据关键词找到内容，搜索速度快
正排索引是要的内容找到关键词

1.2.3.chatgpt小结

我是一名搜索开发工程师，用表格列出倒排索引和正排索引的区别，优点，缺点
告诉我elasticsearch的倒排索引包括包含那些内容

1.2.4.技术选型

充电进度数据特点是大量数据，必须用es存储

倒排索引，搜索速度快，。

1.3.实现

1.3.1.启动es

在这里插入图片描述

-1x删除虚拟机
在这里插入图片描述

检查es是否启动成功
http://192.168.64.140:9200
http://192.168.64.140:9200/_cat/nodes

1.3.2.ES-Head

\software\elasticSearch\es-head.crx.zip
解压缩
在 chrome 浏览器中选择“更多工具”–“扩展程序”
在“扩展程序”中确认开启了“开发者模式”
点击“加载已解压的扩展程序”
选择前面解压的插件目录
在浏览器中点击 elasticsearch-head 插件打开 head 界面，并连接 http://192.168.64.140:9200/
在这里插入图片描述

在这里插入图片描述

1.4.接口测试

1.4.1.查询分词

接口
_analyze

请求方法:POST

请求内容

{
"analyzer":"ik_smart",
"text":"华为mate10手机一台3300元"
}

在这里插入图片描述

1.4.2.创建索引

官方文档如下：
https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-create-index.html

请求方法:PUT

请求内容

{
"settings": {
"number_of_shards": 1,
"number_of_replicas": 0
  }
}

在这里插入图片描述

1.4.3.查询索引

Es-header查看
刷新后可看到节点信息
在这里插入图片描述

1.4.4.删除索引

在这里插入图片描述

1.4.5.添加映射

一个映射mapping中包含多个字段field
相当于表中的列，对象的属性

和表的区别是有些字段需要加分词，有些字段如id,身份证号不用加分词

https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping.html

接口
products/_mapping/

请求方法:PUT

请求内容

{
"properties": {
"id": {
"type": "long"
    },
"title": {
"type": "text",
"analyzer": "ik_max_word",
"search_analyzer": "ik_smart"
    },
"category": {
"type": "text",
"analyzer": "ik_smart",
"search_analyzer": "ik_smart"
    },
"price": {
"type": "float"
    },
"city": {
"type": "text",
"analyzer": "ik_smart",
"search_analyzer": "ik_smart"
    },
"barcode": {
"type": "keyword"
    }
  }
}

在这里插入图片描述

1.4.6.查看映射

GET products/_mapping

在这里插入图片描述

1.4.7.添加文档（数据）
接口
/products/_doc/10035

请求方法:PUT

请求内容

{
"id": "10035",
"title": "BOSE SoundSport耳塞式运动耳机 重低音入耳式防脱降噪音乐耳机",
"category": "潮酷数码会场",
"price": "860.00",
"city": "浙江杭州",
"barcode": "526558749068"
}

在这里插入图片描述

提交一个新的数据

{
"id": "10036",
"title": "【送支架】Beats studio Wireless 2.0无线蓝牙录音师头戴式耳机",
"category": "潮酷数码会场",
"price": "2889.00",
"city": "上海",
"barcode": "37147009748"
}

1.4.8.查看文档

查看文档总数
在这里插入图片描述

查看所有文档内容
在这里插入图片描述

查看某个文档内容
GET /products/_doc/10036
在这里插入图片描述

1.4.9.查看分词结果

GET products/_doc/10035/_termvectors?fields=title
在这里插入图片描述

1.4.10.搜索

POST /products/_search

{
"query": {
"match": {
"title": "耳机"
    }
  }
}

修改title为无线蓝牙

1.4.11.chatgpt小结

列出elasticsearch每个数据类型的作用

1.5.搭建集群

1.5.1.快照流程图

在这里插入图片描述

在这里插入图片描述

1.5.2.用快照备份虚拟机

在这里插入图片描述

1.5.3.还原到logstash快照

在这里插入图片描述

1.5.4.启动三台es

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

1.5.5.查看资源占用

 docker stats

在这里插入图片描述

1.5.6.创建新闻索引

{
"settings": {
"number_of_shards": 3,
"number_of_replicas": 1
  }
}

创建新闻索引如下图：

在这里插入图片描述

节点信息如下图：
在这里插入图片描述

1.5.7.还原快照

在这里插入图片描述

1.5.8.chatgpt小结

查看docker每个容器内存占用多少m的命令是什么
vmware中的快照有什么用

1.6.搜索

1.6.1.创建索引

PUT pditems

{
"settings": {
"number_of_shards": 1,
"number_of_replicas": 0
  }
}

1.6.2.查看索引

在这里插入图片描述

1.6.3.创建映射

PUT pditems/_mapping

{
"properties": {
"id": {
"type": "long"
    },
"brand": {
"type": "text",
3"analyzer": "ik_smart"
    },
"title": {
"type": "text",
"analyzer": "ik_max_word"
    },
"sell_point": {
"type": "text",
"analyzer": "ik_max_word",
"search_analyzer": "ik_smart"
    },
"price": {
"type": "float"
    },
"image": {
"type": "keyword"
    },
"cid": {
"type": "long"
    },
"status": {
"type": "byte"
    },
"created": {
"type": "date",
"format": "yyyy-MM-dd HH:mm:ss"
    },
"updated": {
"type": "date",
"format": "yyyy-MM-dd HH:mm:ss"
    }
  }
}

1.6.4.导入数据

curl -XPOST 'localhost:9200/pditems/_bulk' \
    -H 'Content-Type:application/json' \
    --data-binary @pditems.json

1.6.5.查看数据

查看数据个数

在这里插入图片描述

查看详细数据

在这里插入图片描述

1.6.6.搜索所有

POST /pditems/_search

{
"query": {
"match_all": {}
  }
}

在这里插入图片描述

1.6.7.分页

POST /pditems/_search

{
"query": {
"match_all": {}
  },
"from": 0,
"size": 1
}

POST /pditems/_search

{
"query": {
"match_all": {}
  },
"from": 1,
"size": 1
}

1.6.8.关键字搜索

POST /pditems/_search

{
"query": {
"match": {
"title": "电脑"
    }
  }
}

在这里插入图片描述

Fiter
{
"query": {
"bool": {
"must": [
        {
"match": {
"title": "电脑"
          }
        }
      ],
"filter": [
        {
"range": {
"price": {
"gte": "6000"
            }
          }
        }
      ]
    }
  }
}

在这里插入图片描述

1.6.9.高亮显示

POST pditems/_search

{
"query": {
"multi_match": {
"query": "电脑",
"fields": [
"title",
"sell_point"
      ]
    }
  },
"highlight": {
"pre_tags": "<span>",
"post_tags": "</span>",
"fields": {
"title": {},
"sell_point": {}
    }
  }
}

在这里插入图片描述

1.7.Java访问es

Spring-data官方文档
在这里插入图片描述
在这里插入图片描述

1.7.1.步骤分析

添加依赖
添加es配置
定义实体类
定义接口
单元测试

1.7.2.添加依赖

<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-elasticsearch</artifactId>
</dependency>

1.7.3.添加es配置

spring:
  # 连接ES搜索引擎地址
elasticsearch:
      uris: http://192.168.64.140:9200

1.7.4.定义实体类

@Document(indexName = "pditems")
public class PdItem {
    @Id
    private Long id;

    @Field(type = FieldType.Text)
    private String brand;

    @Field(type = FieldType.Text)
    private String title;

    @Field(type = FieldType.Text)
    private String sellPoint;

    @Field(type = FieldType.Float)
    private Float price;

    @Field(type = FieldType.Keyword)
    private String image;

    @Field(type = FieldType.Long)
    private Long cid;

    @Field(type = FieldType.Byte)
    private Byte status;

    @Field(type = FieldType.Text)
    private String created;

    @Field(type = FieldType.Text)
    private String updated;
}

1.7.5.定义接口

@Repository
public interface PdItemRepository extends ElasticsearchRepository<PdItem,String> {
  List<PdItem> findByTitle(String key);
}

1.7.6.单元测试

@SpringBootTest()
class EsqueryApplicationTests {
    @Autowired
    PdItemRepository pdItemRepository;

    @Test
    public void testFind() {
        List<PdItem> itemList = pdItemRepository.findByTitle("电脑");
        System.out.println(itemList);
    }

}

1.7.7.chatgpt小结

给出使用spring data查询elastic search的步骤
用一个表格告诉我elasticsearch数据类型和java类型的对应关系
根据上面elasticsearch的映射信息生成一个java实体类，给出java代码

1.8.温度查询

1.8.1.业务分析

1.8.2.步骤分析

添加依赖
添加es配置
创建索引，映射
定义实体类
定义接口
添加数据
查询数据
单元测试

1.8.3.创建索引charging

{
"settings": {
"number_of_shards": 1,
"number_of_replicas": 0
  }
}

Es-header–>复合查询
在这里插入图片描述

1.8.4.查看索引

在这里插入图片描述

1.8.5.创建映射

PUT charging/_mapping

{
"properties": {
"id": {
"type": "long"
    },
"userId": {
"type": "long"
    },
"gunId": {
"type": "long"
    },
"temperature": {
"type": "long"
    }
  }
}

1.8.6.查看映射

GET charging/_mapping

1.8.7.添加依赖

<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-elasticsearch</artifactId>
</dependency>

1.8.8.添加es配置

不同springboot版本中uris写法不一样，不要拷贝。
在application.yml中输入 uris,由idea生成

spring:
  # 连接ES搜索引擎地址
  elasticsearch:
      uris: http://192.168.64.140:9200

1.8.9.添加实体类

@Document(indexName = "charging")
public class ChargingProgress {
    @Id
    private Long id;

    @Field(type =FieldType.Long)
    private Long userId;

    @Field(type=FieldType.Long)
    private Long gunId;

    @Field(type=FieldType.Long)
    private Long temperature;

Getter(),setter()
toString()
}

1.8.10.添加接口

创建es 包

@Repository
public interface ChargingProgressRepository  extends ElasticsearchRepository<ChargingProgress,Long> {

}

1.8.11.添加测试依赖，测试目录

<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
<scope>test</scope>
</dependency>

在这里插入图片描述

在这里插入图片描述

1.8.12.添加数据

添加的数据的id要变。否则添加不进去。

package com.ruoyi;

import com.ruoyi.charge.domain.ChargingProgress;
import com.ruoyi.charge.es.ChargingProgressRepository;
import org.junit.jupiter.api.Test;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;

import java.util.List;

@SpringBootTest
public class ChargingProgressTests {
    @Autowired
    ChargingProgressRepository repository;

    @Test
    public void testSave(){
        ChargingProgress chargingProgress = new ChargingProgress();
        chargingProgress.setId(2L);
        chargingProgress.setUserId(2L);
        chargingProgress.setGunId(2L);
        chargingProgress.setTemperature(20L);

        repository.save(chargingProgress);
    }
}

在这里插入图片描述

1.8.13.查询数据

接口中添加方法

@Repository
public interface ChargingProgressRepository  extends ElasticsearchRepository<ChargingProgress,Long> {
    List<ChargingProgress> findByTemperatureGreaterThan(Long value);

}

@Test
public void testFind(){
    List<ChargingProgress> list = repository.findByTemperatureGreaterThan(48L);
    System.out.println(list);
}

1.8.14.Controller

1.8.15.chatgpt小结

{ “properties”: { “id”: { “type”: “long” }, “userId”: { “type”: “long” }, “gunId”: { “type”: “long” }, “temperature”: { “type”: “long” } } } 根据上面的elasticsearch映射配置，生成一个java实体类

在elasticsearch接口中，要查询值大于30的数据，方法名如何写

军军编程
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
es docker 部署 elasticsearch.yml
03-19
docker run --name elasticsearch7.16.3 -p 127.0.0.1:9200:9200 -p 127.0.0.1:9300:9300 -e "discovery.type=single-node" -v /Users/xingyue/Home/xingyue/学习/工程化/es/elasticsearch.yml:/usr/share/elastic...
elasticSearch(ES)最新版 ik分词插件7.10 elasticsearch-analysis-ik-7.10.0
11-20
elasticSearch(ES) 最新版ik分词插件7.10 elasticsearch-analysis-ik-7.10.0
(狂神)ElasticSearch快速入门笔记，ElasticSearch基本操作以及爬虫(Java-ES仿京东实战)
04-18
(狂神)ElasticSearch快速入门笔记，ElasticSearch基本操作以及爬虫(Java-ES仿京东实战),包含了小狂神讲的东西，特别适合新手学习，笔记保存下来可以多看看。好记性不如烂笔头哦~，ElasticSearch，简称es，es是一个开源的高拓展的分布式全文搜索引擎它可以近乎实时的存储、检索数据；本身拓展性很好，可以拓展到上百台服务器，处理PB级别的数据。es也是用Java开发并使用Lucene作为其核心来实现所有索引和搜索功能，但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单。es基本是开箱即用（解压就可以用！），非常简单。Solr安装略微复杂一点！
java.net.ConnectException: Timeout connecting to [/192.168.xxx.xxx:9200]
最新发布
m0_65306510的博客
01-10 571
java.net.ConnectException: Timeout connecting to [/192.168.xxx.xxx:9200]
Docker创建ElasticSearch集群
Gufang617的博客
11-24 1612
Docker创建ElasticSearch集群 1.安装Docker 这里不做阐述,可以看我其他关于docker的文章 2.下载 Elastic Search 镜像 docker pull elasticsearch:7.9.3 集群部署架构: 3.准备虚拟网络和挂载目录 # 创建虚拟网络 docker network create es-net # node1 的挂载目录 mkdir -p -m 777 /var/lib/es/node1/plugins mkdir -p -m 777 /var/l
PHP Warning: mysql_connect(): Host ‘192.168.64.140‘ is not allowed to connect to this MySQL server
m0_68495664的博客
09-30 92
处理搭建-redis服务器环境下mysql实现la/nmp架构缓存。在配置文件/etc/my.cnf中添加。在配置文件redis.conf中添加。1. redis与PHP连接不通。2.mysql与PHP连接不通。写文章-CSDN创作中心。
Windows安全日志分析
安全狐
11-16 1万+
Windows的日志文件主要有系统日志、应用程序日志、安全日志这三类，另外，根据不同的系统服务配置可能还会产生其他的日志文件，如Powershell日志、WWW日志、FTP日志、DNS服务器日志等。这些日志文件由Windows的EventLog服务生成并记录，EventLog服务由Windows服务管理器（%SystemRoot%\system32\services.exe）启动并管理。
深入了解ElasticSearch的Nested数据类型
Java鱼仔的博客
12-14 1万+
深入了解ElasticSearch的Nested数据类型
Elasticsearch——使用Java API实现ES中的索引、映射、文档操作
热门推荐
胜天半子祁同伟
08-26 2万+
Elasticsearch——使用Java API实现ES中的索引、映射、文档操作
ElasticSearch之ES8新特性及集群安装
scorpio的博客
09-18 8610
ElasticSearch之ES8新特性及集群安装
es-dedupe:用于从Elasticsearch删除重复文档的工具
05-05
ES重迭 用于删除按某些唯一字段（例如--field Uuid ）分组的重复文档的工具。 删除过程包括两个阶段： 汇总查询查找具有相同field值且至少出现2次的文档。 此类文档的一份副本留在ES中，其他副本则通过批量API删除...
es-operator：用于Elasticsearch的Kubernetes运算符
02-04
ES-Operator已通过Elasticsearch 6.x和7.0测试。 这个怎么运作 该操作员通过管理称为ElasticsearchDataSets （EDS）的自定义资源来工作。 它们基本上是StatefulSets的一个薄包装。 一个EDS代表一组普通的Elastic...
elasticsearch-7.17.6及对应版本IK分词
02-19
elasticsearch-7.17.6及对应版本IK分词 适合人群：elasticsearch初学者 Elasticsearch 是位于 Elastic Stack 核心的分布式搜索和分析引擎。Logstash 和 Beats 有助于收集、聚合和丰富您的数据并将其存储在 Elastic...
ElasticSearch官方测试数据
09-14
ElasticSearch官方测试数据
elasticsearch-bulk-insert-plugin-8.x-es7.x.x.zip
11-18
kettle 支持elasticsearch7.x 批量上传的插件,减压后放到data-integration\plugins 目录下即可
step05 day05 rabbitmq消息队列原理
lydon1314的博客
09-16 193
1 RabbitMQ简介 1.1 RabbitMQ概念 RabbitMQ是实现了高级消息队列协议（AMQP）的开源消息代理软件（亦称面向消息的中间件）。RabbitMQ服务器是用Erlang语言编写的，而集群和故障转移是构建在开放电信平台框架上的。所有主要的编程语言均有与代理接口通讯的客户端库。 RabbitMQ提供一个异步通信机制，消息的发送者不必一直等待到消息被成功处理才返回，而是立即返回。消息中间件负责处理网络通信，如果网络连接不可用，消息被暂存于队列当中，当网络畅通的时候在将消息转发给相应
ELK日志收集系统
weixin_46591816的博客
03-09 136
ELK
使用docker搭建elk
zhouzhouwangzhaohui的博客
07-27 134
注意： -e “ELASTICSEARCH_HOSTS=http://es:9200” 表示连接刚才启动的 elasticsearch 容器，因为在同一网络（elk）中，地址可直接填 容器名+端口，即 es:9200， 也可以填 http://192.168.161.128:9200，即 http://ip:端口。注意：如果使用挂载配置文件的方式启动的话，elasticsearch.hosts 这需填写 http://ip:9200，而不能使用容器名了，否则后面 kibana 连接 es 会失败。
elasticsearch-vector-scoring:对与ES具有纯点积余弦相似度的文档进行评分
05-04
用于Elasticsearch的矢量计分插件注意：此插件的大多数功能现已在ES中本机支持： : 另请参阅 。 该插件不再维护使用此插件，您可以使用点积或余弦相似度，根据任意原始向量对文档进行评分。发行版Master分支的目标是...
Elasticsearch es Mapping
05-26
Elasticsearch Mapping 是指索引（index）中的字段映射（mapping），它定义了文档中每个字段的数据类型和如何存储数据。Mapping 是 Elasticsearch 中非常重要的概念，因为它定义了如何解析和索引文档。 在 Elastic...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值