01 Elasticsearch概述与安装

一、参考：

视频：https://www.bilibili.com/video/BV1hh411D7sb?p=14&spm_id_from=pageDriver

文档1：https://blog.csdn.net/u011863024/article/details/115721328

文档2：https://www.yuque.com/yingwenerjie/yir85b/cvqw61

官方网址：https://www.elastic.co/cn/

官方文档：https://www.elastic.co/guide/index.html

二、 Elasticsearch概述

1、开篇

结构化数据

结构化数据

半结构化数据

2、技术选型

Elasticsearch 是什么

The Elastic Stack, 包括 Elasticsearch、 Kibana、 Beats 和 Logstash（也称为 ELK Stack）。能够安全可靠地获取任何来源、任何格式的数据，然后实时地对数据进行搜索、分析和可视化。

Elaticsearch，简称为 ES， ES 是一个开源的高扩展的分布式全文搜索引擎， 是整个 ElasticStack 技术栈的核心。

它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理 PB 级别的数据。

全文搜索引擎

Google，百度类的网站搜索，它们都是根据网页中的关键字生成索引，我们在搜索的时候输入关键字，它们会将该关键字即索引匹配到的所有网页返回；还有常见的项目中应用日志的搜索等等。对于这些非结构化的数据文本，关系型数据库搜索不是能很好的支持。

一般传统数据库，全文检索都实现的很鸡肋，因为一般也没人用数据库存文本字段。进行全文检索需要扫描整个表，如果数据量大的话即使对 SQL 的语法优化，也收效甚微。建立了索引，但是维护起来也很麻烦，对于 insert 和 update 操作都会重新构建索引。

基于以上原因可以分析得出，在一些生产环境中，使用常规的搜索方式，性能是非常差的：

• 搜索的数据对象是大量的非结构化的文本数据。

• 文件记录量达到数十万或数百万个甚至更多。

• 支持大量基于交互式文本的查询。

• 需求非常灵活的全文搜索查询。

• 对高度相关的搜索结果的有特殊需求，但是没有可用的关系数据库可以满足。

• 对不同记录类型、非文本数据操作或安全事务处理的需求相对较少的情况。为了解决结构化数据搜索和非结构化数据搜索性能问题，我们就需要专业，健壮，强大的全文搜索引擎 。

这里说到的全文搜索引擎指的是目前广泛应用的主流搜索引擎。它的工作原理是计算机索引程序通过扫描文章中的每一个词，对每一个词建立一个索引，指明该词在文章中出现的次数和位置，当用户查询时，检索程序就根据事先建立的索引进行查找，并将查找的结果反馈给用户的检索方式。这个过程类似于通过字典中的检索字表查字的过程。

Elasticsearch 应用案例

• GitHub: 2013 年初，抛弃了 Solr，采取 Elasticsearch 来做 PB 级的搜索。 “GitHub 使用Elasticsearch 搜索 20TB 的数据，包括 13 亿文件和 1300 亿行代码”。
• 维基百科：启动以 Elasticsearch 为基础的核心搜索架构
• 百度：目前广泛使用 Elasticsearch 作为文本数据分析，采集百度所有服务器上的各类指标数据及用户自定义数据，通过对各种数据进行多维分析展示，辅助定位分析实例异常或业务层面异常。目前覆盖百度内部 20 多个业务线（包括云分析、网盟、预测、文库、直达号、钱包、 风控等），单集群最大 100 台机器， 200 个 ES 节点，每天导入 30TB+数据。
• 新浪：使用 Elasticsearch 分析处理 32 亿条实时日志。
• 阿里：使用 Elasticsearch 构建日志采集和分析体系。
• Stack Overflow：解决 Bug 问题的网站，全英文，编程人员交流的网站。

三、windows 单机部署

1、Elasticsearch 7.8.0下载页面

https://www.elastic.co/cn/downloads/past-releases/elasticsearch-7-8-0

2、目录结构

Windows 版的 Elasticsearch 压缩包，解压即安装完毕，解压后的 Elasticsearch 的目录结构如下 ：

目录	含义
bin	可执行脚本目录
config	配置目录
jdk	内置 JDK 目录
lib	类库
logs	日志目录
modules	模块目录
plugins	插件目录

3、启动服务

解压后，进入 bin 文件目录，点击 elasticsearch.bat 文件启动 ES 服务 。

注意： 9300 端口为 Elasticsearch 集群间组件的通信端口， 9200 端口为浏览器访问的 http协议 RESTful 端口。

打开浏览器，输入地址： http://localhost:9200，测试返回结果，返回结果如下：

{
  "name" : "DESKTOP-LNJQ0VF",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "nCZqBhfdT1-pw8Yas4QU9w",
  "version" : {
    "number" : "7.8.0",
    "build_flavor" : "default",
    "build_type" : "zip",
    "build_hash" : "757314695644ea9a1dc2fecd26d1a43856725e65",
    "build_date" : "2020-06-14T19:35:50.234439Z",
    "build_snapshot" : false,
    "lucene_version" : "8.5.1",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}

三、Linux 集群部署

1、下载

打开这个地址，可以下载到各个版本。我下载的是 ElasticSearch 7.15.1 版本。

https://www.elastic.co/cn/downloads/past-releases

2、准备环境

准备三台 centos7 虚拟机。

（1）修改 hosts

192.168.1.113 centos113
192.168.1.114 centos114
192.168.1.115 centos115

（2）关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

（3）修改 limits.conf

/etc/security/limits.conf

# 在文件末尾中增加下面内容
# 每个进程可以打开的文件数的限制
es soft nofile 65536
es hard nofile 65536

（4）修改 20-nproc.conf

/etc/security/limits.d/20-nproc.conf

# 在文件末尾中增加下面内容
# 每个进程可以打开的文件数的限制
es soft nofile 65536
es hard nofile 65536
# 操作系统级别对每个用户创建的进程数的限制
* hard nproc 4096
# 注： * 带表 Linux 所有用户名称

（5）修改 sysctl.conf

/etc/sysctl.conf

# 在文件中增加下面内容
# 一个进程可以拥有的 VMA(虚拟内存区域)的数量,默认值为 65536
vm.max_map_count=655360

重新加载

sysctl -p

3、安装配置

（1）解压文件

将软件上传到到 centos7 系统中，并进行解压。

tar -zxvf elasticsearch-7.15.1-linux-x86_64.tar.gz -C /SCApp/Sever
mv elasticsearch-7.15.1 es

（2）配置 elasticsearch.yml

在 elasticsearch.yml 中加入以下配置

# 加入如下配置
#集群名称
cluster.name: cluster-es
#节点名称，每个节点的名称不能重复
node.name: node-2
#ip 地址，每个节点的地址不能重复
network.host: centos114
#是不是有资格主节点
node.master: true
node.data: true
http.port: 9200
# head 插件需要这打开这两个配置
http.cors.allow-origin: "*"
http.cors.enabled: true
http.max_content_length: 200mb
#es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举 master
cluster.initial_master_nodes: ["node-1"]
#es7.x 之后新增的配置，节点发现
discovery.seed_hosts: ["centos115:9300","centos114:9300","centos113:9300"]
gateway.recover_after_nodes: 2
network.tcp.keep_alive: true
network.tcp.no_delay: true
transport.tcp.compress: true
#集群内同时启动的数据任务个数，默认是 2 个
cluster.routing.allocation.cluster_concurrent_rebalance: 16
#添加或删除节点及负载均衡时并发恢复的线程个数，默认 4 个
cluster.routing.allocation.node_concurrent_recoveries: 16
#初始化数据恢复时，并发恢复线程的个数，默认 4 个
cluster.routing.allocation.node_initial_primaries_recoveries: 16

#关闭安全访问
xpack.security.enabled: false

（3）创建用户

因为安全问题， Elasticsearch 不允许 root 用户直接运行，所以要创建新用户。

useradd es #新增 es 用户
passwd es #为 es 用户设置密码
userdel -r es #如果错了，可以删除再加

（4）修改属主和用户组

启动时，会动态生成文件，如果文件所属用户不匹配，会发生错误，需要进行修改用户和用户组

chown -R es:es /opt/module/es #文件夹所有者

4、启动软件

使用 es 用户启动

su es
cd /opt/module/es/
#启动
bin/elasticsearch
#后台启动
bin/elasticsearch -d  

5、查看节点

http://192.168.1.115:9200/_cat/nodes

192.168.1.113 17 49 0 0.00 0.01 0.05 cdfhilmrstw - node-3
192.168.1.115 39 51 0 0.09 0.06 0.05 cdfhilmrstw - node-1
192.168.1.114 63 51 0 0.00 0.02 0.05 cdfhilmrstw * node-2

6、停止

这条命令可以成功停止

ps -ef | grep elasticsearch | grep -v grep | awk '{print $2}' | xargs kill -9

下面这条停止失败

停止命令kill ps -ef | grep Elasticsearch | grep -v grep | awk '{print $2}'

四、ELK部署文档–elasticsearch

https://www.cnblogs.com/liukx/p/15716358.html