Elasticsearch概述以及基本使用

最新推荐文章于 2024-07-23 23:44:55 发布

炒拉条

最新推荐文章于 2024-07-23 23:44:55 发布

阅读量611

点赞数

文章标签：搜索引擎

本文链接：https://blog.csdn.net/m0_69699237/article/details/126346472

版权

1. Elasticsearch概述

1.1搜索是什么：

概念：用户输入想要的关键词，返回含有该关键词的所有信息。场景：

1互联网搜索：谷歌、百度、各种新闻首页

2 站内搜索（垂直搜索）：企业OA查询订单、人员、部门，电商网站内部搜索商品（淘宝、京东）场景。

2.2 数据库做搜索弊端:

2.2.1站内搜索（垂直搜索）：

数据量小，简单搜索，可以使用数据库。

       问题出现：

        l .存储问题。电商网站商品上亿条时，涉及到单表数据过大必须拆分表，数据库磁盘占用过大必须分库（mycat）。

      2. 性能问题：解决上面问题后，查询“笔记本电脑”等关键词时，上亿条数据的商品名字段逐行扫描，性能跟不上。

       3. 不能分词。如搜索“笔记本电脑”，只能搜索完全和关键词一样的数据，那么数据量小时，搜索“笔记电脑”，“电脑”数据要不要给用户。

2.2.2互联网搜索，肯定不会使用数据库搜索。数据量太大。PB级。

我们可以使用搜索引擎来解决数据库搜索的问题:

搜索也是一款数据库，搜索可以进行分词搜索---搜索速度非常快

2.3 常见的搜索引擎:

ElasticSearch与Solr比较

1.当单纯的对已有数据进行搜索时，Solr更快

2. 当实时建立索引时，Solr会产生io阻塞，查询性能较差，ElasticSearch具有明显的优势

3. 随着数据量的增加，Solr的搜索效率会变得更低，而ElasticSearch却没有明显的变化

总结

1、es基本是开箱即用(解压就可以用!)【南京】 ,非常简单。Solr

安装略微复杂一丢丢!

2、Solr 利用Zookeeper进行分布式管理,而

Elasticsearch自身带有分布式协调管理功能。

3、Solr 支持更多格式的数据,比如JSON、XML、 CSV ,而

Elasticsearch仅支持json文件格式。

4、Solr 官方提供的功能更多,而Elasticsearch本身更注重于核心

功能，高级功能多有第三方插件提供，例如图形化界面需要kibana友

好支撑

5.Solr 查询快,但更新索引时慢(即插入删除慢) ，用于电商等查询

多的应用;

ES建立索引快(即查询慢) ，即实时性查询快，用于facebook新浪等

搜索。

Solr是传统搜索应用的有力解决方案，但Elasticsearch更适用于

新兴的实时搜索应用。

6、Solr比较成熟，有一个更大，更成熟的用户、开发和贡献者社区，

而Elasticsearch相对开发维护者较少,更新太快,学习使用成本较

高。

2.4 Elasticsearch 是什么?

The Elastic Stack, 包括 Elasticsearch【搜索，分析】、 Kibana【可视

化】、 Beats 和 Logstash【数据的搜集】（也称为 ELK Stack）。能够安全可靠地获取任何来源、任何格式的数据，然后实时地对数据进行搜索、分析和可视化。

Elaticsearch，简称为 ES， ES 是一个开源的高扩展的分布式全文搜索引擎，是整个 ElasticStack 技术栈的核心。

它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理 PB 级别的数据。

2.5 Elasticsearch的使用场景 :

国外：

维基百科，类似百度百科，“网络七层协议”的维基百科，全文检索，高亮，搜索推荐

Stack Overﬂow（国外的程序讨论论坛），相当于程序员的贴吧。遇到

it问题去上面发帖，热心网友下面回帖解答。

GitHub（开源代码管理），搜索上千亿行代码。

电商网站，检索商品

日志数据分析，logstash采集日志，ES进行复杂的数据分析（ELK技

术，elasticsearch+logstash+kibana）

商品价格监控网站，用户设定某商品的价格阈值，当低于该阈值的时候，发送通知消息给用户，比如说订阅《java编程思想》的监控，如果价格低于27块钱，就通知我，我就去买。

BI系统，商业智能（Business Intelligence）。大型连锁超市，分析全国网点传回的数据，分析各个商品在什么季节的销售量最好、利润最

高。成本管理，店面租金、员工工资、负债等信息进行分析。从而部署下一个阶段的战略目标。

国内：

百度搜索，第一次查询，使用es。

OA、ERP系统站内搜索。

es:搜索的一款数据库，支持的数据格式json.----

3. ES(Elasticsearch)的安装

1、安装JDK，至少1.8.0_73以上版本，验证：

java -version。

2、下载和解压缩Elasticsearch安装包，查看目录结构。

https://www.elastic.co/cn/downloads/elasticsearch

下载地址：https://www.elastic.co/cn/downloads/

历史版本下载：https://www.elastic.co/cn/downloads/past-releases/

注意：一定要解压之后操作

解压后，进入 bin 文件目录，点击 elasticsearch.bat 文件启动 ES 服务。

注意： 9300 端口为 Elasticsearch 集群间组件的通信端口， 9200 端口为浏览器访问的 http协议 RESTful 端口。

打开浏览器，输入地址： http://localhost:9200，测试返回结果，返回结果如下

注意：当我们嗯进入网址出现一下内容表示运行成功

"name" : "DESKTOP-LNJQ0VF",

"cluster_name" : "elasticsearch",

"cluster_uuid" : "nCZqBhfdT1-pw8Yas4QU9w",

"version" : {

"number" : "7.8.0",

"build_flavor" : "default",

"build_type" : "zip",

"build_hash" :

"757314695644ea9a1dc2fecd26d1a43856725e65",

"build_date" : "2020-06-14T19:35:50.234439Z",

"build_snapshot" : false,

"lucene_version" : "8.5.1",

"minimum_wire_compatibility_version" : "6.8.0",

"minimum_index_compatibility_version" : "6.0.0-

beta1"

"tagline" : "You Know, for Search"

}

4.Windows安装Kibana

1、kibana是es数据的前端展现，数据分析时，可以方便地看到数据。作为开发人员，可以方便访问es。

https://www.elastic.co/cn/downloads/

历史版本下载：https://www.elastic.co/cn/downloads/past-releases/

2、下载，解压kibana。

3、启动Kibana：bin\kibana.bat

4、浏览器访问 http://localhost:5601 进入Dev Tools界面。像plsql一样支持代码提示。

5、发送get请求，查看集群状态GET _cluster/health。相当于浏览器访问。

注意：出现一下页面算加载成功

5. ES(Elasticsearch)中常见的概念:

Elasticsearch 是面向文档型数据库，一条数据在这里就是一个文档。为了方便大家理解，我们将 Elasticsearch 里存储文档数据和关系型数据库 MySQL 存储数据的概念进行一个类比

ES 里的 Index 可以看做一个库，而 Types 相当于表， Documents 则相当于表的行。这里 Types 的概念已经被逐渐弱化， Elasticsearch 6.X 中，一个 index 下已经只能包含一个type， Elasticsearch 7.X 中, Type 的概念已经被删除了。

6. ES常用API接口

6.1 基本操作

(1)创建一个索引，添加

字段数据类型：

- text：支持分词，全文检索,支持模糊、精确查询,不支持聚合,排序

操作;text类型的最大支持的字符长度无限制,适合大字段存储；

2- keyword：不进行分词，直接索引、支持模糊、支持精确匹配，支持

聚合、排序操作。keyword类型的最大支持的长度为——32766个UTF-8

类型的字符,可以通过设置ignore_above指定自持字符长度，超过给

定长度后的数据将不被索引，无法通过term精确匹配检索返回结果。

数值型

long、Integer、short、byte、double、ﬂoat、half ﬂoat、

scaled ﬂoat

日期类型：date

布尔类型： boolean

binary等等

(2)指定字段的类型（使用PUT）

类似于建库（建立索引和字段对应类型），也可看做规则的建立

(3)获取信息：GET qy152

(4)获取默认类型

_doc 默认类型（default type），type 在未来的版本中会逐渐弃用，因此产生一个默认类型进行代替

如果自己的文档字段没有被指定，那么ElasticSearch就会给我们默认配置字段类型

扩展：通过get _cat/ 可以获取ElasticSearch的当前的很多信息！

1.GET _cat/indices

2.GET _cat/aliases

3.GET _cat/allocation

4.GET _cat/count

5.GET _cat/fielddata

6.GET _cat/health

7.GET _cat/indices

8.GET _cat/master

9.GET _cat/nodeattrs

10.GET _cat/nodes

11.GET _cat/pending_tasks

12.GET _cat/plugins

13.GET _cat/recovery

14.GET _cat/repositories

15.GET _cat/segments

16.GET _cat/shards

17.GET _cat/snapshots

18.GET _cat/tasks

19.GET _cat/templates

20.GET _cat/thread_pool

(5)修改

两种方案

①旧的（使用put覆盖原来的值）

版本+1（_version）

但是如果漏掉某个字段没有写，那么更新是没有写的字段，会消失

②新的（使用post的update）

version不会改变

需要注意doc

不会丢失字段

下面运用上面的方式做修改

7.删除

DELETE /test 指定列表删除

8、查询（简单条件）

(1)查询索引里的所有列表

注意:这里标记的_socre值越高，匹配度就越高。

(2)查询索引里的所有列表后在跟条件

GET /索引名称/类型名称/_search?q=字段名:值

根据name数据查询

根据age数据查询

9、复杂查询

(1)用json格式查询数据

(2)查询部分列

(3)分页查询

(4)大于小于查询:

(5)从大到小排序

match：匹配（会使用分词器解析（先分析文档，然后进行查询））

_source：过滤字段

sort：排序

form、size 分页

(6)多条件查询:

(7.)取反查询

(8)亮点查询

炒拉条

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
Elasticsearch概述以及基本使用

1、es基本是开箱即用(解压就可以用!)【南京】 ,非常简单。Solr安装略微复杂一丢丢!2、Solr 利用Zookeeper进行分布式管理,而Elasticsearch自身带有分布式协调管理功能。3、Solr 支持更多格式的数据,比如JSON、XML、 CSV ,而Elasticsearch仅支持json文件格式。4、Solr 官方提供的功能更多,而Elasticsearch本身更注重于核心功能，高级功能多有第三方插件提供，例如图形化界面需要kibana友好支撑。...
复制链接

扫一扫