Elasticsearch我们又常称其是ES,是一个基于Lucene构建的开源、分布式、RESTful 接口全文搜索引擎。也是一个分布式文档数据库,每个字段均是被索引的数据且可被搜索,具有庞大的数据处理能力,能扩展至数百台服务器以及处理PB级的数据。
运用场景:
1. ES经常被用于日志系统分析,典型的组合就是ELK(Elasticsearch+Logstash+Kibana)
2.检索功能:比如大型电商类网站的商品搜索系统
一.特点:
高扩展性、高可用性;
下面引用来自百度上有关es的概念介绍:
cluster
代表一个集群,集群中有多个节点,其中有一个为主节点,这个主节点是可以通过选举产生的,主从节点是对于集群内部来说的。es的一个概念就是去中心化,字面上理解就是无中心节点,这是对于集群外部来说的,因为从外部来看es集群,在逻辑上是个整体,你与任何一个节点的通信和与整个es集群通信是等价的。
shards
代表索引分片,es可以把一个完整的索引分成多个分片,这样的好处是可以把一个大的索引拆分成多个,分布到不同的节点上。构成分布式搜索。分片的数量只能在索引创建前指定,并且索引创建后不能更改。
replicas
代表索引副本,es可以设置多个索引的副本,副本的作用一是提高系统的容错性,当某个节点某个分片损坏或丢失时可以从副本中恢复。二是提高es的查询效率,es会自动对搜索请求进行负载均衡。
recovery
代表数据恢复或叫数据重新分布,es在有节点加入或退出时会根据机器的负载对索引分片进行重新分配,挂掉的节点重新启动时也会进行数据恢复。
river
代表es的一个数据源,也是其它存储方式(如:数据库)同步数据到es的一个方法。它是以插件方式存在的一个es服务,通过读取river中的数据并把它索引到es中,官方的river有couchDB的,RabbitMQ的,Twitter的,Wikipedia的。
gateway
代表es索引快照的存储方式,es默认是先把索引存放到内存中,当内存满了时再持久化到本地硬盘。gateway对索引快照进行存储,当这个es集群关闭再重新启动时就会从gateway中读取索引备份数据。es支持多种类型的gateway,有本地文件系统(默认),分布式文件系统,Hadoop的HDFS和amazon的s3云存储服务。
discovery.zen
代表es的自动发现节点机制,es是一个基于p2p的系统,它先通过广播寻找存在的节点,再通过多播协议来进行节点之间的通信,同时也支持点对点的交互。
Transport
代表es内部节点或集群与客户端的交互方式,默认内部是使用tcp协议进行交互,同时它支持http协议(json格式)、thrift、servlet、memcached、zeroMQ等的传输协议(通过插件方式集成)。
二、ES内置字段:
内置字段 | _udi,_id,_type,_source,_all,_analyzer,_boost,_parent,_routing,_index,_size,_timestamp,_ttl |
字段类型 | String,Integer,Long,Float,Double,Boolean,NULL,Date |
三、ES对比数据库
用一个比较容易的理解的对应关系来介绍下ES的各个字段意思:
关系数据库 ⇒ 数据库 ⇒ 表 ⇒ 行数据 ⇒ 列(Columns)
Elasticsearch ⇒ 索引(Index) ⇒ 类型(type) ⇒ 文档(Docments) ⇒ 字段(Fields)
数据样例:
{
"took": 1,
"timed_out": false,
"_shards": {
"total": 5,
"successful": 5,
"skipped": 0,
"failed": 0
},
"hits": {
"total": 10,
"max_score": 1,
"hits": [{
"_index": "book",
"_type": "doc",
"_id": "3",
"_score": 1,
"_source": {
"id": "3",
"title": "who are you",
"author": "tom",
"postDate": "2020-02-02"
}
}]
}
}
时间匆忙,只做了最简单的介绍,后续继续解锁新技能.......