ElasticSearch 概念及安装_显示结果如下(配置不同内容则不同)说明es启动成功-CSDN博客

本文链接：https://blog.csdn.net/qq_40794266/article/details/85525683

1.概念

1.介绍

elasticsearch

ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

我们建立一个网站或应用程序，并要添加搜索功能，但是想要完成搜索工作的创建是非常困难的。我们希望搜索解决方案要运行速度快，我们希望能有一个零配置和一个完全免费的搜索模式，我们希望能够简单地使用JSON通过HTTP来索引数据，我们希望我们的搜索服务器始终可用，我们希望能够从一台开始并扩展到数百台，我们要实时搜索，我们要简单的多租户，我们希望建立一个云的解决方案。因此我们利用Elasticsearch来解决所有这些问题及可能出现的更多其它问题。

总结

1.elasticsearch是一个基于Lucene的高扩展的分布式搜索服务器，支持开箱即用。

2.elasticsearch隐藏了Lucene的复杂性，对外提供Restful 接口来操作索引、搜索

优点

1.扩展性好，可部署上百台服务器集群，处理PB级数据。

2.近实时的去索引数据、搜索数据。

搜索服务器该怎么选择?

目前比较流行的俩款搜索服务器分别是 solr elasticsearch,我看了很多帖子, solr 在数据量不大的时候查询效率跟 es 差不多,但数据量大的时候效率就远远不行了,我也去咨询过上司,他给我的建议是优先考虑es

2. 原理

索引结构

逻辑结构图采用的是倒排索引列表:

1.将要搜索的文档内容分词，所有不重复的词组成分词列表

2.将搜索的文档最终以Document方式存储起来

3.每个词和docment都有关联。

如下

假设我们搜索quick brown,我们只需要查找包含每个词条的文档：

可能会有人不理解什么是倒排索引,

倒排索引--

英文原名Inverted index，大概因为 Invert 有颠倒的意思，就被翻译成了倒排。但是倒排这个名称很容易让人理解为从A-Z颠倒成Z-A。个人认为翻译成转置索引可能比较合适。一个未经处理的数据库中，一般是以文档ID作为索引，以文档内容作为记录。而Inverted index 指的是将单词或记录作为索引，将文档ID作为记录，这样便可以方便地通过单词或记录查找到其所在的文档。

既然有倒排索引,那么相反肯定会有正排索引称为正向索引

就是以文档id 作为索引,以文档内容作为记录如下图

3.如何使用es?

Elasticsearch提供 RESTful Api接口进行索引、搜索，并且支持多种客户端.

2.ElasticaSearch安装

安装配置

1.配置的jdk 版本至少1.8 以上

2.支持tar、zip、rpm等多

在windows下开发建议使用ZIP安装方式。

3、支持docker方式安装

详细参见 : https://www.elastic.co/guide/en/elasticsearch/reference/current/install-elasticsearch.html

我找的教程的版本是 6.2.1 的版本,所以我一下6.2.1

es 6.2.1

下载完成后解压 elasticsearch-6.2.1.zip

bin：脚本目录，包括：启动、停止等可执行脚本

config：配置文件目录

data：索引目录，存放索引文件的地方

logs：日志目录

modules：模块目录，包括了es的功能模块

plugins :插件目录，es支持插件机制

配置文件

有三个配置文件,ES的配置文件的地址根据安装形式的不同而不同：使用zip、tar安装，配置文件的地址在安装目录的config下,

使用RPM安装，配置文件在/etc/elasticsearch下。使用MSI安装，配置文件的地址在安装目录的config下，并且会自动将config目录地址写入环境变量ES_PATH_CONF

elasticsearch.yml ：用于配置Elasticsearch运行参数

jvm.options ：用于配置Elasticsearch JVM设置

log4j2.properties：用于配置Elasticsearch日志

elasticsearch.yml

配置格式有俩种

方式1：层次方式
path: data: /var/lib/elasticsearch logs: /var/log/elasticsearch
方式2：属性方式
path.data: /var/lib/elasticsearch path.logs: /var/log/elasticsearch

我弄了一份配置提供参考

# ======================== Elasticsearch Configuration =========================
#
# NOTE: Elasticsearch comes with reasonable defaults for most settings.
#       Before you set out to tweak and tune the configuration, make sure you
#       understand what are you trying to accomplish and the consequences.
#
# The primary way of configuring a node is via this file. This template lists
# the most important settings you may want to configure for a production cluster.
#
# Please consult the documentation for further information on configuration options:
# https://www.elastic.co/guide/en/elasticsearch/reference/index.html
#
# ---------------------------------- Cluster -----------------------------------
#
# Use a descriptive name for your cluster:
#
#cluster.name: my-application
#
# ------------------------------------ Node ------------------------------------
#
# Use a descriptive name for the node:
#
#node.name: node-1
#
# Add custom attributes to the node:
#
#node.attr.rack: r1
#
# ----------------------------------- Paths ------------------------------------
#
# Path to directory where to store the data (separate multiple locations by comma):
#
#path.data: /path/to/data
#
# Path to log files:
#
#path.logs: /path/to/logs
#
# ----------------------------------- Memory -----------------------------------
#
# Lock the memory on startup:
#
#bootstrap.memory_lock: true
#
# Make sure that the heap size is set to about half the memory available
# on the system and that the owner of the process is allowed to use this
# limit.
#
# Elasticsearch performs poorly when the system is swapping the memory.
#
# ---------------------------------- Network -----------------------------------
#
# Set the bind address to a specific IP (IPv4 or IPv6):
#
#network.host: 192.168.0.1
#
# Set a custom port for HTTP:
#
#http.port: 9200
#
# For more information, consult the network module documentation.
#
# --------------------------------- Discovery ----------------------------------
#
# Pass an initial list of hosts to perform discovery when new node is started:
# The default list of hosts is ["127.0.0.1", "[::1]"]
#
#discovery.zen.ping.unicast.hosts: ["host1", "host2"]
#
# Prevent the "split brain" by configuring the majority of nodes (total number of master-eligible nodes / 2 + 1):
#
#discovery.zen.minimum_master_nodes: 
#
# For more information, consult the zen discovery module documentation.
#
# ---------------------------------- Gateway -----------------------------------
#
# Block initial recovery after a full cluster restart until N nodes are started:
#
#gateway.recover_after_nodes: 3
#
# For more information, consult the gateway module documentation.
#
# ---------------------------------- Various -----------------------------------
#
# Require explicit names when deleting indices:
#
#action.destructive_requires_name: true
#集群名称
cluster.name: cluster01  

#节点名，通常一台物理服务器就是一个节点，es会默认随机指定一个名字，建议指定一个有意义的名称，方便管里 
#一个或多个节点组成一个cluster集群，集群是一个逻辑的概念，节点是物理概念，
node.name: node_1
#network.host: 设置绑定主机的ip地址，设置为0.0.0.0表示绑定任何ip，允许外网访问，生产环境建议设置为具体的ip。
network.host: 127.0.0.1
#http.port: 9200 设置对外服务的http端口，默认为9200。
http.port: 9200
#transport.tcp.port: 9300 集群结点之间通信端口
transport.tcp.port: 9300
#node.master: 指定该节点是否有资格被选举成为master结点，默认是true，如果原来的master宕机会重新选举新的master。 
node.master: true
# node.data: 指定该节点是否存储索引数据，默认为true。
node.data: true
#discovery.zen.ping.unicast.hosts: ["host1:port", "host2:port", "..."] 设置集群中master节点的初始列表。
discovery.zen.ping.unicast.hosts: ["0.0.0.0:9300", "0.0.0.0:9301"]
#discovery.zen.minimum_master_nodes: 主结点数量的最少值 ,此值的公式为：(master_eligible_nodes / 2) + 1 ，比如：有3个符合要求的主结点，那么这里要设置为2。
discovery.zen.minimum_master_nodes: 1
node.ingest: true
#bootstrap.memory_lock: true 设置为true可以锁住ES使用的内存，避免内存与swap分区交换数据。
bootstrap.memory_lock: false
#node.max_local_storage_nodes: 单机允许的最大存储结点数，通常单机启动一个结点建议设置为1，开发环境如果单机启动多个节点可设置大于1.
node.max_local_storage_nodes: 2
#path.data: 设置索引数据的存储路径，默认是es根目录下的data文件夹，可以设置多个存储路径，用逗号隔开。
path.data: D:\ElasticSearch\elasticsearch-6.2.1-1\data
#path.logs: 设置日志文件的存储路径，默认是es根目录下的logs文件夹
path.logs: D:\ElasticSearch\elasticsearch-6.2.1-1\logs

http.cors.enabled: true
http.cors.allow-origin: /.*/

jvm.options

设置最小及最大的JVM堆内存大小

在jvm.options中设置 -Xms和-Xmx：

1）两个值设置为相等

2）将 Xmx 设置为不超过物理内存的一半。

系统配置

在linux上根据系统资源情况，可将每个进程最多允许打开的文件数设置大些。


su limit -n 查询当前文件数
使用命令设置limit:
先切换到root，设置完成再切回elasticsearch用户
sudo su
ulimit ‐n 65536
su elasticsearch

也可通过下边的方式修改文件进行持久设置

/etc/security/limits.conf

将下边的行加入此文件：

elasticsearch ‐ nofile 65536

启动ES

进入bin目录，在cmd下运行：elasticsearch.bat

浏览器访问

http://localhost:9200/

显示结果如下（配置不同内容则不同）说明ES启动成功：

{
"name" : "node_1",
"cluster_name" : "cluster01",
"cluster_uuid" : "J18wPybJREyx1kjOoH8T‐g",
"version" : {
"number" : "6.2.1",
"build_hash" : "7299dc3",
"build_date" : "2018‐02‐07T19:34:26.990113Z",
"build_snapshot" : false,
"lucene_version" : "7.2.1","minimum_wire_compatibility_version" : "5.6.0","minimum_index_compatibility_version" : "5.0.0"},"tagline" : "You Know, for Search"
}

head插件安装

head插件是ES的一个可视化管理插件，用来监视ES的状态，并通过head客户端和ES服务进行交互，比如创建映
射、创建索引等，head的项目地址在https://github.com/mobz/elasticsearch-head

从ES6.0开始，head插件支持使得node.js运行。

1. 下载zip包

head插件下载地址下载ZIP包

2.解压zip包

cmd 进入包路径

3. 安装

依次执行如下命令

npm install -g grunt-cli

npm install

检查是否安装成功

grunt -version

出现 如下代表成功 
grunt-cli v1.3.2
grunt v1.0.1

启动server

grunt server

浏览器访问

http://localhost:9100/

连接的es是默认端口 9300,

可以到文件中配置 cd head 目录

vim _site/app.js

把

this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://localhost:9200";

改为

this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://192.168.1.101:9200";

然后重启一下head, 启动命令 grunt server

打开浏览器报错

Origin null is not allowed by Access-Control-Allow-Origin

是跨域问题

设置elasticsearch允许跨域访问在config/elasticsearch.yml 后面增加以下参数：

#开启cors跨域访问支持，默认为false

http.cors.enabled: true

#跨域访问允许的域名地址，(允许所有域名)以上使用正则

http.cors.allow-origin: /.*/

注意：将config/elasticsearch.yml另存为utf-8编码格式。

重启es

连接成功