Elasticsearch简介及环境搭建

Elasticsearch简单介绍

Elasticsearch（ES）是一个基于Lucene构建的开源、分布式、RESTful接口全文搜索引擎。Elasticsearch还是一个分布式文档数据库，其中每个字段均是被索引的数据且可被搜索，它能够扩展至数以百计的服务器存储以及处理PB级的数据。它可以在很短的时间内存储、搜索和分析大量的数据。它通常作为具有复杂搜索场景情况下的核心发动机。

Elasticsearch就是为高可用和可扩展而生的。可以通过购置性能更强的服务器来完成.

网上流传的故事是：多年前，一个叫作Shay Banon的刚结婚不久的失业开发者，由于 妻子要去伦敦学习厨师，他便跟着也去了°在他找工作的过程中，为了给妻子构建一个食谱 的搜索引撃.他开始构建一个早期版本的Lucene.

后来发现直接基于Lucene工作作会比较困难，所以Shay开始抽象Lucene代码以便Java程序员可以在应用中添加搜索功能°他发布了第一个开源项目，叫作“Compass”。

后来Shay找到一份工作.这份工作处在髙性能和内存数据网格的分布式环境中，因此，高性能的、实时的、分布式的搜索引擎也是理所当然需要的。然后他决定重写Compass库 使其成为一个独立的服务叫作Elasticsearcho

 

Elasticsearch优势

 

横向可扩展性:只需要增加台服务器，做一点儿配置，启动一下Elasticsearch就可以并入集群。

分片机制提供更好的分布性:同一个索引分成多个分片(sharding), 这点类似于HDFS的块机制;分而治之的方式可提升处理效率。

高可用:提供复制( replica) 机制，一个分片可以设置多个复制，使得某台服务器在宕机的情况下，集群仍旧可以照常运行，并会把服务器宕机丢失的数据信息复制恢复到其他可用节点上。
使用简单:共需一条命令就可以下载文件，然后很快就能搭建一一个站内搜索引擎。

 

 

Elasticsearch应用场景

大型分布式日志分析系统ELK  elasticsearch（存储日志）+logstash(收集日志)+kibana(展示数据)

 

大型电商商品搜索系统、网盘搜索引擎等。

 

Elasticsearch存储结构

 

Elasticsearch是文件存储，Elasticsearch是面向文档型数据库，一条数据在这里就是一个文档，用JSON作为文档序列化的格式，比如下面这条用户数据：

{     "name" :     "morin",     "sex" :      0,     "age" :      25 }

 

关系数据库     ⇒ 数据库 ⇒ 表    ⇒ 行    ⇒ 列(Columns)

Elasticsearch    ⇒ 索引(Index)   ⇒ 类型(type)  ⇒ 文档(Docments)  ⇒ 字段(Fields)  

 

倒排索引

倒排索引源于实际应用中需要根据属性的值来査找记录。这种索引表中的每一项都包括 一个属性值和具有该属性值的各记录的地址，由于不是由记录来确定属性值.而是由属性值 来确定记录的位置，因而称为倒排索引(inverted index)。带有倒排索引的文件我们称为倒 排索引文件，简称倒排文件(invertedfile)o

搜索引擎的关键步骤就是建立倒排索引，倒排索引一般表示为一个关键词.然后是它的 频度（出现的次数）、位置（出现在哪一篇文章或网页中，及有关的日期，作者等信息），好 比一本书的目录、标签一般读者想看哪一个主题相关的章节，直接根据目录即可找到相关的页面C不必再从书的第一页到最后一页，一页一页地査找，

举个例子：

 

Linux环境安装Elasticsearch

1. 安装JDK环境变量

 

export JAVA_HOME=/usr/local/jdk1.8.0_181 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar   source /etc/profile

 

1. 下载elasticsearch安装包

 

下载elasticsearch安装包

 

官方文档https://www.elastic.co/downloads/elasticsearch

注意：linux安装内存建议1g内存以上

 

1. 上传elasticsearch安装包
2. 解压elasticsearch

 

tar -zxvf elasticsearch-6.4.3.tar.gz

 

1. 修改elasticsearch.yml

network.host: 192.168.212.151

http.port: 9200

PS:

ES配置详解

elasticsearch的config文件夹里面有两个配置文件：elasticsearch.yml和logging.yml，第一个是es的基本配置文件，第二个是日志配置文件，es也是使用log4j来记录日志的，所以logging.yml里的设置按普通log4j配置文件来设置就行了。下面主要讲解下elasticsearch.yml这个文件中可配置的东西。

cluster.name: elasticsearch

配置es的集群名称，默认是elasticsearch，es会自动发现在同一网段下的es，如果在同一网段下有多个集群，就可以用这个属性来区分不同的集群。

node.name: "myes"

节点名，默认随机指定一个name列表中名字，该列表在es的jar包中config文件夹里name.txt文件中

node.master: true

指定该节点是否有资格被选举成为node，默认是true，es是默认集群中的第一台机器为master，如果这台机挂了就会重新选举master。

node.data: true

指定该节点是否存储索引数据，默认为true。

index.number_of_shards: 5

设置默认索引分片个数，默认为5片。

index.number_of_replicas: 1

设置默认索引副本个数，默认为1个副本。

path.conf: /path/to/conf

设置配置文件的存储路径，默认是es根目录下的config文件夹。

path.data: /path/to/data

设置索引数据的存储路径，默认是es根目录下的data文件夹，可以设置多个存储路径，用逗号隔开，例：

path.data: /path/to/data1,/path/to/data2

path.work: /path/to/work

设置临时文件的存储路径，默认是es根目录下的work文件夹。

path.logs: /path/to/logs

设置日志文件的存储路径，默认是es根目录下的logs文件夹

path.plugins: /path/to/plugins

设置插件的存放路径，默认是es根目录下的plugins文件夹

bootstrap.mlockall: true

设置为true来锁住内存。因为当jvm开始swapping时es的效率会降低，所以要保证它不swap，可以把ES_MIN_MEM和ES_MAX_MEM两个环境变量设置成同一个值，并且保证机器有足够的内存分配给es。同时也要允许elasticsearch的进程可以锁住内存，Linux下可以通过`ulimit -l unlimited`命令。

network.bind_host: 192.168.0.1

设置绑定的ip地址，可以是ipv4或ipv6的，默认为0.0.0.0。

 

network.publish_host: 192.168.0.1

设置其它节点和该节点交互的ip地址，如果不设置它会自动判断，值必须是个真实的ip地址。

network.host: 192.168.0.1

这个参数是用来同时设置bind_host和publish_host上面两个参数。

transport.tcp.port: 9300

设置节点间交互的tcp端口，默认是9300。

transport.tcp.compress: true

设置是否压缩tcp传输时的数据，默认为false，不压缩。

http.port: 9200

设置对外服务的http端口，默认为9200。

http.max_content_length: 100mb

设置内容的最大容量，默认100mb

http.enabled: false

是否使用http协议对外提供服务，默认为true，开启。

gateway.type: local

gateway的类型，默认为local即为本地文件系统，可以设置为本地文件系统，分布式文件系统，Hadoop的HDFS，和amazon的s3服务器，其它文件系统的设置方法下次再详细说。

gateway.recover_after_nodes: 1

设置集群中N个节点启动时进行数据恢复，默认为1。

gateway.recover_after_time: 5m

设置初始化数据恢复进程的超时时间，默认是5分钟。

gateway.expected_nodes: 2

设置这个集群中节点的数量，默认为2，一旦这N个节点启动，就会立即进行数据恢复。

cluster.routing.allocation.node_initial_primaries_recoveries: 4

初始化数据恢复时，并发恢复线程的个数，默认为4。

cluster.routing.allocation.node_concurrent_recoveries: 2

添加删除节点或负载均衡时并发恢复线程的个数，默认为4。

indices.recovery.max_size_per_sec: 0

设置数据恢复时限制的带宽，如入100mb，默认为0，即无限制。

indices.recovery.concurrent_streams: 5

设置这个参数来限制从其它分片恢复数据时最大同时打开并发流的个数，默认为5。

discovery.zen.minimum_master_nodes: 1

设置这个参数来保证集群中的节点可以知道其它N个有master资格的节点。默认为1，对于大的集群来说，可以设置大一点的值（2-4）

discovery.zen.ping.timeout: 3s

设置集群中自动发现其它节点时ping连接超时时间，默认为3秒，对于比较差的网络环境可以高点的值来防止自动发现时出错。

discovery.zen.ping.multicast.enabled: false

设置是否打开多播发现节点，默认是true。

discovery.zen.ping.unicast.hosts: ["host1", "host2:port", "host3[portX-portY]"]

设置集群中master节点的初始列表，可以通过这些节点来自动发现新加入集群的节点。

 

1. 启动elasticsearch报错

 

Cd /usr/local/elasticsearch-6.4.3/bin

./elasticsearch

can not run elasticsearch as root 解决方案: 因为安全问题elasticsearch 不让用root用户直接运行，所以要创建新用户 第一步：liunx创建新用户  adduser XXX    然后给创建的用户加密码 passwd XXX    输入两次密码。 第二步：切换刚才创建的用户 su XXX  然后执行elasticsearch  会显示Permission denied 权限不足。 第三步：给新建的XXX赋权限，chmod 777 *  这个不行，因为这个用户本身就没有权限，肯定自己不能给自己付权限。所以要用root用户登录付权限。 第四步：root给XXX赋权限，chown -R XXX /你的elasticsearch安装目录。 然后执行成功。   创建一个用户 useradd morin -p 123456 chown -R morin  elasticsearch-6.4.3 su morin切换用户    继续报错 bootstrap checks failed max virtual memory areas vm.max_map_count [65530] is   vi /etc/sysctl.conf vm.max_map_count=655360 sysctl -p     max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536] vi /etc/security/limits.conf * soft nofile 65536 * hard nofile 131072 *** hard nofile 65536 *** soft nofile 65536   重启服务器即可    max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144] elasticsearch启动时遇到的错误 问题翻译过来就是：elasticsearch用户拥有的内存权限太小，至少需要262144；   解决： 切换到root用户 执行命令： sysctl -w vm.max_map_count=262144 查看结果： sysctl -a|grep vm.max_map_count 显示： vm.max_map_count = 262144   上述方法修改之后，如果重启服务器将失效，所以： 解决办法： 在   /etc/sysctl.conf文件最后添加一行 vm.max_map_count=262144 即可永久修改

 

 

1. 访问elasticsearch

 

关闭防火墙 systemctl stop firewalld.service

 

 

http://121.196.173.213:9200

 

 

9300与9200区别

9300端口： ES节点之间通讯使用
9200端口： ES节点 和 外部 通讯使用