ElasticSearch指南

最新推荐文章于 2024-04-13 05:48:56 发布
最新推荐文章于 2024-04-13 05:48:56 发布
阅读量272 收藏 1
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44710084/article/details/88142646
版权

概述

官方网站： https://www.elastic.co/cn/products/elasticsearch

ElasticSerach是什么

ElasticSearch是一个基于lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于restful web接口。ElasticSerach是用java开发的，并作为apach许可条款下的开源码发布，是当前企业流行的搜索引擎。设计于云计算中，能够达到实时搜索，稳定、可靠 、快速，安装使用方便。

ElasticSearch不仅是lucene和全文搜索引擎，还提供了：

  • 分布式的搜索引擎和数据分析引擎
  • 全文检索
  • 对海量数据进行近实时的处理

ElasicSerach应用场景

  • 全文检索：主要和 Solr 竞争，属于后起之秀。
  • NoSQL JSON文档数据库：主要抢占 Mongo 的市场，它在读写性能上优于 Mongo ，同时也支持地理位置查询，还方便地理位置和文本混合查询。
  • 监控：统计、日志类时间序的数据存储和分析、可视化，这方面是引领者。
  • 国外：Wikipedia（维基百科）使用ES提供全文搜索并高亮关键字、StackOverflow（IT问答网站）结合全文搜索与地理位置查询、Github使用Elasticsearch检索1300亿行的代码。
  • 国内：百度（在云分析、网盟、预测、文库、钱包、风控等业务上都应用了ES，单集群每天导入30TB+数据，总共每天60TB+）、新浪 、阿里巴巴、腾讯等公司均有对ES的使用。使用比较广泛的平台ELK(ElasticSearch, Logstash, Kibana)。

二、基本概念

RESTFul介绍

参考资料：
1. http://www.ruanyifeng.com/blog/2011/09/restful.html
2. http://www.ruanyifeng.com/blog/2018/10/restful-api-best-practices.html

Rest:表现层状态转化。如果一个架构符合restful风格，则它可以称为resetful架构风格。

  1. 资源：所谓"资源"，就是网络上一个实体，或者说网络上的一个具体信息。
  2. 表现层 ：我们把“资源”具体呈现出来的形式，叫做表现层。（Representation）
  3. 状态转化（State Transfer）：如果客户端想要操作服务器，必须通过某种手段，让服务器端发生"状态转
    化"（State Transfer）。而这种转化是建立在表现层之上的，所以就是"表现层状态转化"。就是HTTP协议里
    面，四个表示操作方式的动词：GET、POST、PUT、DELETE。它们分别对应四种基本操作：GET用来获取资
    源，POST用来新建资源（也可以用于更新资源），PUT用来更新资源，DELETE用来删除资源。

Elasticsearch中涉及到的重要概念

接近实时（NRT）

Elasticsearch是一个接近实时的搜索平台。这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟（通常是1秒）

集群（cluster）

一个集群就是由一个或多个节点组织在一起，它们共同持有你整个的数据，并一起提供索引和搜索功能。一个集群
由一个唯一的名字标识，这个名字默认就是“elasticsearch”。这个名字是重要的，因为一个节点只能通过指定某个集
群的名字，来加入这个集群。在产品环境中显式地设定这个名字是一个好习惯，但是使用默认值来进行测试/开发
也是不错的。

节点（node）

一个节点是你集群中的一个服务器，作为集群的一部分，它存储你的数据，参与集群的索引和搜索功能。和集群类似，一个节点也是由一个名字来标识的，默认情况下，这个名字是一个随机的漫威漫画角色的名字，这个名字会在启动的时候赋予节点。这个名字对于管理工作来说挺重要的，因为在这个管理过程中，你会去确定网络中的哪些服务器对应于Elasticsearch集群中的哪些节点。
一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下，每个节点都会被安排加入到一个叫做“elasticsearch”的集群中，这意味着，如果你在你的网络中启动了若干个节点，并假定它们能够相互发现彼此，它
们将会自动地形成并加入到一个叫做“elasticsearch”的集群中。
在一个集群里，只要你想，可以拥有任意多个节点。而且，如果当前你的网络中没有运行任何Elasticsearch节点，这时启动一个节点，会默认创建并加入一个叫做“elasticsearch”的集群。

索引（index）

一个索引就是一个拥有几分相似特征的文档的集合。比如说，你可以有一个客户数据的索引，另一个产品目录的索
引，还有一个订单数据的索引。一个索引由一个名字来标识（必须全部是小写字母的），并且当我们要对对应于这
个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字。索引类似于关系型数据库中Database
的概念。在一个集群中，如果你想，可以定义任意多的索引。

类型(type)

在一个索引中，你可以定义一种或多种类型。一个类型是你的索引的一个逻辑上的分类/分区，其语义完全由你来
定。通常，会为具有一组共同字段的文档定义一个类型。比如说，我们假设你运营一个博客平台并且将你所有的数
据存储到一个索引中。在这个索引中，你可以为用户数据定义一个类型，为博客数据定义另一个类型，当然，也可
以为评论数据定义另一个类型。类型类似于关系型数据库中Table的概念。

文档

一个文档是一个可被索引的基础信息单元。比如，你可以拥有某一个客户的文档，某一个产品的一个文档，当然，
也可以拥有某个订单的一个文档。文档以JSON（Javascript Object Notation）格式来表示，而JSON是一个到处存在的互联网数据交互格式。
在一个index/type里面，只要你想，你可以存储任意多的文档。注意，尽管一个文档，物理上存在于一个索引之
中，文档必须被索引/赋予一个索引的type。文档类似于关系型数据库中Record的概念。实际上一个文档除了用户定
义的数据外，还包括 index 、 type和_id字段

分片和复制（shards & replicas）

一个索引可以存储超出单个结点硬件限制的大量数据。比如，一个具有10亿文档的索引占据1TB的磁盘空间，而任一节点都没有这样大的磁盘空间；或者单个节点处理搜索请求，响应太慢。
为了解决这个问题，Elasticsearch提供了将索引划分成多份的能力，这些份就叫做分片。当你创建一个索引的时
候，你可以指定你想要的分片的数量。每个分片本身也是一个功能完善并且独立的“索引”，这个“索引”可以被放置
到集群中的任何节点上。 分片之所以重要，主要有两方面的原因：

  • 在分片/节点失败的情况下，提供了高可用性。因为这个原因，注意到复制分片从不与原/主要（original/primary）分片置于同一节点上是非常重要的。
  • 扩展你的搜索量/吞吐量，因为搜索可以在所有的复制上并行运行

总之，每个索引可以被分成多个分片。一个索引也可以被复制0次（意思是没有复制）或多次。一旦复制了，每个
索引就有了主分片（作为复制源的原来的分片）和复制分片（主分片的拷贝）之别。分片和复制的数量可以在索引
创建的时候指定。在索引创建之后，你可以在任何时候动态地改变复制数量，但是不能改变分片的数量。

默认情况下，Elasticsearch中的每个索引被分片5个主分片和1个复制，这意味着，如果你的集群中至少有两个节
点，你的索引将会有5个主分片和另外5个复制分片（1个完全拷贝），这样的话每个索引总共就有10个分片。一个
索引的多个分片可以存放在集群中的一台主机上，也可以存放在多台主机上，这取决于你的集群机器数量。主分片
和复制分片的具体位置是由ES内在的策略所决定的。

映射（Mapping）

Mapping是ES中的一个很重要的内容，它类似于传统关系型数据中table的schema，用于定义一个索引（index）的某个类型（type）的数据的结构。

在ES中，我们无需手动创建type（相当于table）和mapping(相关与schema)。在默认配置下，ES可以根据插入的数据自动地创建type及其mapping。

mapping中主要包括字段名、字段数据类型和字段索引类型

ElasticSearch环境搭建

准备工作

1.CentOS（版本需大于 7  如： CentOS-7-x86_64-Minimal-1804.iso ）
2.Java(版本需大于 1.8  如： jdk-8u181-linux-x64.rpm )
3.ES安装包（如： elasticsearch-6.4.0.tar.gz ）

环境搭建

安装jdk

[root@localhost ~]# rpm -ivh jdk-8u181-linux-x64.rpm

[root@localhost latest]# vi /etc/profile
export JAVA_HOME=/usr/java/latest
export CLASSPATH=.
export PATH=$PATH:$JAVA_HOME/bin

[root@localhost latest]# source /etc/profile

安装ES

[root@localhost ~]# tar -zxvf elasticsearch-6.4.0.tar.gz -C /us

启动

[root@localhost elasticsearch-6.4.0]# bin/elasticsearch

设置配置文件

1. 设置用户组权限
[root@localhost elasticsearch-6.4.0]# groupadd es
[root@localhost elasticsearch-6.4.0]# useradd -g es es
[root@localhost elasticsearch-6.4.0]# chown -R es:es /usr/elasticsearch-6.4.0/
[root@localhost elasticsearch-6.4.0]# ll
total 436
drwxr-xr-x.  3 es es  4096 Dec 18 01:15 bin
drwxr-xr-x.  2 es es   178 Dec 18 01:16 config
drwxr-xr-x.  3 es es  4096 Aug 17 19:23 lib

可以解决的异常：
出现异常： Caused by: java.lang.RuntimeException: can not run elasticsearch as root
原因：ES不允许通过ROOT用户启动

2. 配置远程访问
vim config/elasticsearch.yml

51 # ---------------------------------- Network -----------------------------------
52 #
53 # Set the bind address to a specific IP (IPv4 or IPv6):
54 #
55 network.host: 192.168.23.141
56 #
57 # Set a custom port for HTTP:
58 #
59 #http.port: 9200
60 #
61 # For more information, consult the network module documentation.
62 #
63 # --------------------------------- Discovery ----------------------------------

继续运行可能出行的错误

ERROR: [3] bootstrap checks failed
[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at
least [65536]
[2]: max number of threads [3802] for user [es] is too low, increase to at least [4096]
[3]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least
[262144]

解决方案如下

更改系统配置
[root@localhost elasticsearch-6.4.0]# vim /etc/security/limits.conf
# 添加以下内容
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096
[root@localhost elasticsearch-6.4.0]# vim /etc/sysctl.conf
# 添加以下内容
vm.max_map_count=655360
[root@localhost elasticsearch-6.4.0]# sysctl -p
vm.max_map_count = 655360
[root@localhost elasticsearch-6.4.0]# reboot
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# systemctl disable firewalld
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
一定要关闭防火墙
测试访问

请求成功标识

安装Kibana

概述

Kibana是一个针对Elasticsearch的开源数据分析及可视化平台，用来搜索、查看交互存储在Elasticsearch索引中的数
据。使用Kibana，可以通过各种图表进行高级数据分析及展示。

Kibana让海量数据更容易理解。它操作简单，基于浏览器的用户界面可以快速创建仪表板（dashboard）实时显示
Elasticsearch查询动态。

设置Kibana非常简单。无需编码或者额外的基础架构，几分钟内就可以完成Kibana安装并启动Elasticsearch索引监
测。

安装配置
[root@localhost ~]# tar -zxvf kibana-6.4.0-linux-x86_64.tar.gz -C /usr
[root@localhost ~]# cd /usr/kibana-6.4.0-linux-x86_64/
[root@localhost kibana-6.4.0-linux-x86_64]# vim config/kibana.yml

# To allow connections from remote users, set this parameter to a non-loopback address.
server.host: "192.168.23.141"

# The URL of the Elasticsearch instance to use for all your queries
elasticsearch.url: "http://192.168.23.141:9200"

# 启动
[root@localhost kibana-6.4.0-linux-x86_64]# bin/kibana
启动测试

http://192.168.47.150:5601

在这里插入图片描述

四、使用kibana实现基本的增删改查

查看集群

查看集群的健康信息

GET /_cat/health?v

epoch      timestamp cluster       status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent
1551709660 22:27:40  elasticsearch yellow          1         1      6   6    0    0        5             0                  -                 54.5%

集群状态 ：

  • Green（正常）
  • Yellow（正常，但一些副本没有分配）
  • Red（非正常）

可以使用 GET /_cat/health?help 查看每个操作返回结果字段的意义

查看集群中节点信息
GET /_cat/nodes?v
查看集群中的索引信息
GET /_cat/indices?v

简化写法

GET /_cat/indices?v&h=health,status,index

索引操作

创建索引
PUT /baizhi
删除索引
DELETE /baizhi
创建类型
PUT /baizhi # 创建index(baizhi)并添加类型mapping（_doc）
{
    "mappings": {
   		  "_doc": {
   			   "properties": {
   				    "title":  { "type": "text" },
   				    "name":   { "type": "text" },
   				    "age":   { "type": "integer" }, 
   				    "created": {
   				     "type":  "date",
   				     "format": "strict_date_optional_time||epoch_millis"
   	 				  }
   				}
   	 	}
   }
}

或者

POST /baizhi/user # 创建index(baizhi)后，在指定index中添加类型mapping(user)
{
	 "user": {
		   "properties": {
			    "id":  { "type": "text" },
			    "name":   { "type": "text" },
			    "age":   { "type": "integer" }, 
			    "created": {
			     "type":  "date",
			     "format": "strict_date_optional_time||epoch_millis"
			   }
		  }
	 }
}

Mapping Type：

  1. 简单类型： text , keyword , date , long , double , boolean or ip
  2. 其它类型： object , geo_point , geo_shape 等
查看mapping类型
GET /baizhi/_mapping/_doc # 语法：GET /索引名/_mapping/类型名

注意：mapping types将会在ES
7.0版本中移除。原因可参考：https://www.elastic.co/guide/en/elasticsearch/reference/current/removal-of-types.html#_why_are_mapping_types_being_removed

dutf
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Elasticsearch】es如何查看版本信息
九师兄
06-22 326
获取集群健康状态等信息，包括集群名称、节点数、数据节点数、分片等的一些统计信息。这个和直接访问9200端口的结果是一样的。今天学了一个新的命令，查看es版本信息。
Elasticsearch权威指南高清中文版PDF
01-12
Elasticsearch权威指南高清中文版PDF..................
Elasticsearch
tianliang_230918的博客
09-18 4070
curl --user 用户名:密码 -XGET 'https://localhost:9200' -k。备注：-k，表示关闭ssl安全证书认证。方式二：linux终端输入以下命令。方式一：打开浏览器，输入地址 "
查询ES的版本信息
weixin_45442529的博客
06-02 6945
查询es的版本信息
ElasticSearch 索引设计指南
过往记忆大数据
11-25 2842
作者介绍许睿哲2020年12月加入去哪儿网-数据平台团队，目前主要负责公司的 esaas 云服务与实时日志 ELK 平台的开发、维护与优化。主导参与了公司的 ES 架构升级迁移与 ES 平...
查看elasticserc版本_如何查看elasticsearch版本
weixin_39527292的博客
12-22 2158
2017-05-22 回答一般有这个问题应该是es不是自己装的，如果是还不知道话建议找块豆腐~核心思路是找到es home中的lib，其他方法欢迎指正。补充：已经找到最简单的方法了，前提是es启动了。[hadoop@fat283-0003~]$curl-xgetlocalhost:9200{"status":200,"name":"she-venom","cluster_name"...
ElasticSearch搜索
清晨
09-02 1278
ElasticSearch搜索 一、简介 二、相关概念 三、工作机制 四、安装、配置、部署 五、Java Api 六、更多应用 七、其它
ElasticSearch介绍
yfq_29的博客
01-25 1300
elasticsearch的概念，读写原理，以及倒排索引介绍
ElasticSearch简易操作指南
最新发布
06-30
Elasticsearch简朴使用手册
elasticsearch权威指南示例数据
04-04
此资源因需自备梯子比较难下载，现分享出来 Elasticsearch 是一个实时的分布式搜索分析引擎， 它能让你以一个之前从未有过的速度和规模，去探索你的数据。 它被用作全文检索、结构化搜索、分析以及这三个功能的组合： Wikipedia 使用 Elasticsearch 提供带有高亮片段的全文搜索，还有 search-as-you-type 和 did-you-mean 的建议。 卫报 使用 Elasticsearch 将网络社交数据结合到访客日志中，实时的给它的编辑们提供公众对于新文章的反馈。 Stack Overflow 将地理位置查询融入全文检索中去，并且使用 more-like-this 接口去查找相关的问题与答案。 GitHub 使用 Elasticsearch 对1300亿行代码进行查询。
Elasticsearch权威指南
01-23
**Elasticsearch权威指南** Elasticsearch是一款开源的全文搜索引擎，基于Lucene构建，具有分布式、实时、可扩展性好、容错性强等特性。它不仅是一个搜索库，还提供了数据存储、分析和检索的强大功能，广泛应用于...
Elasticsearch 入门教程
2401_84048398的博客
04-03 1035
我还为大家准备了一套体系化的架构师学习资料包以及BAT面试资料，供大家参考及学习已经将知识体系整理好（源码，笔记，PPT，学习视频）《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》点击传送门即可获取！[外链图片转存中…(img-hCkBCC7G-1712099860401)]既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！
查看elasticsearch版本号
boss_way的博客
07-22 9782
第一种: 直接看pom.xml 文件里 引包的 版本号： 第二种： 使用head插件查询elasticsearch的版本号： http://127.0.0.1:18080/ 修改给自己服务的 ip端口号即可，不需要任何参数，请求方式选择get ...
Elasticsearch_查看elasticsearch版本，大数据开发开发基础入门教程
2401_84159911的博客
04-13 1331
curl --user 用户名:密码 -XGET ‘https://localhost:9200’ -k备注：-k，表示关闭ssl安全证书认证。
elasticsearch查看版本号
风中落叶
04-25 5019
elasticsearch已经启动的情况下 使用curl -XGET localhost:9200命令查看： curl -XGET localhost:9200 { "name" : "elasticsearch", "cluster_name" : "docker-cluster", "cluster_uuid" : "92vv8XMgR-mgSwtVBVKRVA", "version" : { "number" : "7.9.3", "build_flavor" : ...
Elasticsearch权威指南解析
"Elasticsearch权威指南（中文版）是一本详细介绍Elasticsearch的综合性书籍，由clintongormley和zacharytong撰写，并由Looly及多位译者翻译。书中涵盖从Elasticsearch的基本概念、安装、API使用到分布式集群管理、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值