ELK日志分析平台-----实战（一）-----ES搜索引擎

ELK日志分析平台-----实战（一）-----ES搜索引擎

学习目标：

ELK主要由三个重要组件：

1. elasticsearch搜索分析引擎
2. logstash数据采集
3. kibana可视化

##########elasticsearch实战#############

1.elasticsearch的简介

Elasticsearch 是一个开源的分布式搜索分析引擎，建立在一个全文搜索引擎库 Apache Lucene基础之上。

Elasticsearch 不仅仅是 Lucene，并且也不仅仅只是一个全文搜索引擎：

1. 一个分布式的实时文档存储，每个字段 可以被索引与搜索
2. 一个分布式实时分析搜索引擎
3. 能胜任上百个服务节点的扩展，并支持 PB 级别的结构化或者非结构化数据

模块介绍

基础模块         功能
cluster：       管理集群状态，维护集群层面的配置信息。
alloction：		封装了分片分配相关的功能和策略。
discovery：		发现集群中的节点，以及选举主节点。
gateway：		对收到master广播下来的集群状态数据的持久化存储。
indices：		管理全局级的索引设置。
http：			允许通过JSON over HTTP的方式访问ES的API。
transport：		用于集群内节点之间的内部通信。
engine：		封装了对Lucene的操作及translog的调用。

elasticsearch应用场景:

1. 信息检索

2. 日志分析

3. 业务数据分析

4. 数据库加速

5. 运维指标监控

官网：https://www.elastic.co/cn/

注意：我们下载软件时可以去这个网站下载，https://elasticsearch.cn/download/ 这个网站的速度快。

2.elasticsearch安装与配置

软件下载：
https://elasticsearch.cn/download/
安装软件：
#rpm -ivh jdk-8u171-linux-x64.rpm
#rpm -ivh elasticsearch-7.6.1.rpm //7.6版本自带jdk

[root@server4 ~]# rpm -ivh elasticsearch-7.6.1.rpm		# 安装ES

修改配置文件：
# vim /etc/elasticsearch/elasticsearch.yml
cluster.name: my-es					#集群名称
node.name: server4					#主机名需要解析
path.data: /var/lib/elasticsearch	#数据目录
path.logs: /var/log/elasticsearch	#日志目录
bootstrap.memory_lock: true			#锁定内存分配
network.host: 192.168.43.74			#主机ip
http.port: 9200						#http服务端口
cluster.initial_master_nodes: ["server4"]

对配置文件进行修改之后，我们的服务是不能启动的，因为我们还需修改系统的限制

修改系统限制
# vim /etc/security/limits.conf        			在最后添加以下内容：
elasticsearch soft memlock unlimited            
elasticsearch hard memlock unlimited			
elasticsearch 	   - 	nofile 	65536			#限定文件数量，不得大于内核限制（sysctl -a | grep file）
elasticsearch	   -	nproc 	4096			# 进程数


由于服务有systemd 启用，所以我们去指定systemd的系统限制：
vim /usr/lib/systemd/system/elasticsearch.service
## 在service语句块下添加以下内容###
LimitNOFILE=65535
LimitMEMLOCK=infinity


修改java虚拟机限制：
[root@server4 elasticsearch]# vim /etc/elasticsearch/jvm.options
-Xms1g
-Xmx1g
Xmx设置不超过物理RAM的50%,以确保有足够的物理RAM留给内核文件系统缓存。但不要超过32G。
这里我们应该给这台虚拟机2G的内存。

我们还需要去禁用交换分区，会影响数据的交互：

[root@server4 elasticsearch]# echo 0 > /proc/sys/vm/swappiness #数值越大越倾向于使用swap分区
[root@server4 elasticsearch]# cat /proc/sys/vm/swappiness 
0
[root@server4 elasticsearch]# swapoff -a
[root@server4 elasticsearch]# vim /etc/fstab      # 禁用掉开机自启
#/dev/mapper/rhel-swap   swap                    swap    defaults        0 0

配置完以上步骤后，现在就可以启动了：

[root@server4 elasticsearch]# systemctl daemon-reload
[root@server4 elasticsearch]# systemctl start elasticsearch.service
[root@server4 elasticsearch]# curl 192.168.43.74:9200
{
  "name" : "server4",
  "cluster_name" : "my-es",
  "cluster_uuid" : "dcU5g1TWRzqUQnsLmRf-lw",
  "version" : {
    "number" : "7.6.1",
    "build_flavor" : "default",
    "build_type" : "rpm",
    "build_hash" : "aa751e09be0a5072e8570670309b1f12348f023b",
    "build_date" : "2020-02-29T00:15:25.529771Z",
    "build_snapshot" : false,
    "lucene_version" : "8.4.0",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}

但是，我们发现这样显然还不够刺激，我们想要给它加一个图形界面：
我们需要去下载插件：下载elasticsearch-head插件

wget https://github.com/mobz/elasticsearch-head/archive/master.zip
head插件本质上是一个nodejs的工程,因此需要安装node:
wget https://mirrors.tuna.tsinghua.edu.cn/nodesource/rpm_9.x/el/7/x86_64/nodejs9.11.2-1nodesource.x86_64.rpm

[root@server4 ~]# ls
 master.zip								# 需要这个插件
[root@server4 ~]# unzip master.zip 
[root@server4 ~]# ls
 elasticsearch-head-master  master.zip
然后我们需要进入这个目录里面执行 npm 这个命令，这时我们安装node包
[root@server4 ~]# rpm -ivh nodejs-9.11.2-1nodesource.x86_64.rpm 
warning: nodejs-9.11.2-1nodesource.x86_64.rpm: Header V4 RSA/SHA256 Signature, key ID 34fa74dd: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:nodejs-2:9.11.2-1nodesource      ################################# [100%]

然后我们进入目录，由于npm install 很慢，所以我们更换一个仓库下载
[root@server4 ~]# cd elasticsearch-head-master/
[root@server4 elasticsearch-head-master]# npm install --registry=https://registry.npm.taobao.org
PhantomJS not found on PATH		# 发现环境变量少了一个东西，
Downloading https://github.com/Medium/phantomjs/releases/download/v2.1.1/phantomjs-2.1.1-linux-x86_64.tar.bz2
Saving to /tmp/phantomjs/phantomjs-2.1.1-linux-x86_64.tar.bz2
# 让去这里下载

[root@server4 ~]# ls
 phantomjs-2.1.1-linux-x86_64.tar.bz2		#下载好了
 [root@server4 ~]# tar jxf phantomjs-2.1.1-linux-x86_64.tar.bz2 
 [root@server4 ~]# cd phantomjs-2.1.1-linux-x86_64/


[root@server4 phantomjs-2.1.1-linux-x86_64]# ls
bin  ChangeLog  examples  LICENSE.BSD  README.md  third-party.txt
[root@server4 phantomjs-2.1.1-linux-x86_64]# cd bin/			
[root@server4 bin]# ls
phantomjs
[root@server4 bin]# cp phantomjs /usr/local/bin/		# 复制这个二进制文件到环境变量就可以使用这个命令了


[root@server4 ~]# phantomjs 
phantomjs: error while loading shared libraries: libfontconfig.so.1:  #又缺少了一个库文件
[root@server4 ~]# yum install fontconfig-2.13.0-4.3.el7.x86_64 -y
[root@server4 ~]# phantomjs 
phantomjs> 
phantomjs> 
# 就代表成功了

在重新npm install
[root@server4 elasticsearch-head-master]# npm install --registry=https://registry.npm.taobao.org


我们还要修改ES主机ip和端口：
[root@server4 elasticsearch-head-master]# cd _site/
[root@server4 _site]# ls
app.css  app.js  background.js  base  fonts  i18n.js  index.html  lang  manifest.json  vendor.css  vendor.js
[root@server4 _site]# 

[root@server4 _site]# npm run start &      # 启动head插件
[1] 17355
[root@server4 _site]# 
> elasticsearch-head@0.0.0 start /root/elasticsearch-head-master
> grunt server

(node:17365) ExperimentalWarning: The http2 module is an experimental API.
Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100
^C
[root@server4 _site]# netstat -antlp |grep 9100
tcp        0      0 0.0.0.0:9100            0.0.0.0:*               LISTEN      17365/grunt         

在浏览器访问是这样的，但是连接不成功，因为不允许跨域访问，所以我们应该修改ES跨域主持

[root@server4 _site]# vim /etc/elasticsearch/elasticsearch.yml
# Set a custom port for HTTP:    #在下面添加两行内容
#
http.port: 9200

http.cors.enabled: true			# 是否支持跨域
http.cors.allow-origin: "*"		# *表示支持所有域名

systemctl restart elasticsearch.service		# 重启服务

连接上了之后，创建一个索引：

刷新一下：

加粗的是主分片，细的是辅分片，健康状态变成了黄色，代表主分片存在，辅分片丢失。如过变成了红色，就代表没有可用分片了。

3.elasticsearch分布式部署

以相同的方法再安装两个ES节点,配置如下：

[root@server4 _site]# ssh-keygen
[root@server4 _site]# ssh-copy-id server1
[root@server4 _site]# ssh-copy-id server2		# 做免密,然后将配置的文件全部复制过去
[root@server4 ~]# scp elasticsearch-7.6.1-x86_64.rpm server1:
[root@server4 ~]# scp elasticsearch-7.6.1-x86_64.rpm server2:
[root@server4 elasticsearch]# scp -p /etc/elasticsearch/elasticsearch.yml server1:/etc/elasticsearch/                                                                                                                                                             
[root@server4 elasticsearch]# scp -p /etc/elasticsearch/elasticsearch.yml server2:/etc/elasticsearch/
[root@server4 security]# scp /etc/security/limits.conf server1:/etc/security/
[root@server4 security]# scp /etc/security/limits.conf server2:/etc/security/
[root@server4 system]# scp /usr/lib/systemd/system/elasticsearch.service server1:/usr/lib/systemd/system/
[root@server4 system]# scp /usr/lib/systemd/system/elasticsearch.service server2:/usr/lib/systemd/system/

然后更改他们的配置文件：

vim /etc/elasticsearch/elasticsearch.yml 

server4：
discovery.seed_hosts: ["server4", "server1", "server2"]		# 改这里，其它不变
cluster.initial_master_nodes: ["server4","server1","server2"]		# 需要多个master结点进行切换

server1：
node.name: server1
network.host: 192.168.43.71
discovery.seed_hosts: ["server4", "server1", "server2"]
cluster.initial_master_nodes: ["server4","server1","server2"]

server2：
node.name: server2
network.host: 192.168.43.72
discovery.seed_hosts: ["server4", "server2", "server1"]
cluster.initial_master_nodes: ["server4","server1","server2"]


然后在三个结点都
 systemctl daemon-reload 
 systemctl start elasticsearch.service			# server1是restart

然后我们查看查看ES集群状态

当前server4 是master结点，其他两个是worker结点

elasticsearch节点角色

Master：
主要负责集群中索引的创建、删除以及数据的Rebalance等操作。Master不负责数据的索引和检索，所以负载较轻。当Master节点失联或者挂掉的时候，ES集群会自动从其他Master节点选举出一个Leader。

Data Node：
主要负责集群中数据的索引和检索，一般压力比较大。

Coordinating Node：
原来的Client node的，主要功能是来分发请求和合并结果的。所有节点默认就是Coordinating node，且不能关闭该属性。

Ingest Node：
专门对索引的文档做预处理

elasticsearch节点优化

在生产环境下，如果不修改elasticsearch节点的角色信息，在高数据量，高并发的场景下集群容易出现脑裂等问题。

默认情况下，elasticsearch集群中每个节点都有成为主节点的资格，也都存储数据，还可以提供查询服务。

节点角色是由以下属性控制：

1. node.master: false|true
2. node.data: true|false
3. node.ingest: true|false
4. search.remote.connect: true|false
   默认情况下这些属性的值都是true。

node.master：这个属性表示节点是否具有成为主节点的资格
    注意：此属性的值为true，并不意味着这个节点就是主节点。
    因为真正的主节点，是由多个具有主节点资格的节点进行选
    举产生的。
node.data：这个属性表示节点是否存储数据。
node.ingest: 是否对文档进行预处理。
search.remote.connect：是否禁用跨集群查询

我们现在就有五种组合：

第一种组合：（默认）
node.master: true
node.data: true
node.ingest:  true
search.remote.connect: true
这种组合表示这个节点即有成为主节点的资格，又存储数据。
如果某个节点被选举成为了真正的主节点，那么他还要存储数据，这样对于这个节点的压力就比较大了。
测试环境下这样做没问题，但实际工作中不建议这样设置。

第二种组合：（Data node）
node.master: false
node.data: true
node.ingest: false
search.remote.connect: false
这种组合表示这个节点没有成为主节点的资格，也就不参与选举，只会存储数据。
这个节点称为data(数据)节点。在集群中需要单独设置几个这样的节点负责存储数据。后期提供存储和查询服务。

第三种组合：（master node）
node.master: true
node.data: false
node.ingest: false
search.remote.connect: false
这种组合表示这个节点不会存储数据，有成为主节点的资格，可以参与选举，有可能成为真正的主节点。
这个节点我们称为master节点。

第四种组合：（Coordinating Node）
node.master: false
node.data: false
node.ingest: false
search.remote.connect: false
这种组合表示这个节点即不会成为主节点，也不会存储数据，
这个节点的意义是作为一个协调节点，主要是针对海量请求的时候可以进行负载均衡。

第五种组合：（Ingest Node）
node.master: false
node.data: false
node.ingest: true
search.remote.connect: false
这种组合表示这个节点即不会成为主节点，也不会存储数据，
这个节点的意义是ingest节点，对索引的文档做预处理。

所以我们进行设置，来调整我们的集群：

在server4中：

vim /etc/elasticsearch/elasticsearch.yml 

# ------------------------------------ Node ------------------------------------
#
# Use a descriptive name for the node:
#
node.name: server4
node.master: true
node.data: false
node.ingest: false
search.remote.connect: false

# 让他成为master节点

在server1上：

vim /etc/elasticsearch/elasticsearch.yml 

# Use a descriptive name for the node:
#
node.name: server1
node.master: true
node.data: true
node.ingest: false
search.remote.connect: false

让他可以接管master，也存储数据

server2上：

vim /etc/elasticsearch/elasticsearch.yml 

# Use a descriptive name for the node:
#
node.name: server1
node.master: true
node.data: true
node.ingest: false
search.remote.connect: false

让他可以接管master，也存储数据,这里我们先不做预处理结点

然后重启三台服务，这时serve4是起不来的，是因为我们设置 不做存储结点，但是之前已经有数据了，所以我们要进行清理

[root@server4 bin]# pwd
/usr/share/elasticsearch/bin

[root@server4 bin]# ./elasticsearch-node repurpose
------------------------------------------------------------------------

    WARNING: Elasticsearch MUST be stopped before running this tool.

23:38:49.741 [main] WARN  org.elasticsearch.cluster.metadata.MetaData - Adding unknown custom object with type index_lifecycle
23:38:49.744 [main] WARN  org.elasticsearch.cluster.metadata.MetaData - Adding unknown custom object with type licenses
Found 1 shards in 1 indices to clean up
Use -v to see list of paths and indices affected
Node is being re-purposed as master and no-data. Clean-up of shard data will be performed.
Do you want to proceed?
Confirm [y/N] y
Node successfully repurposed to master and no-data.

这时候，我们在刷新页面：

生产集群中可以对这些节点的职责进行划分

1. 建议集群中设置3台以上的节点作为master节点，这些节点只负责成为主节点，维护整个集群的状态。
2. 再根据数据量设置一批data节点，这些节点只负责存储数据，后期提供建立索引和查询索引的服务，这样的话如果用户请求比较频繁，这些节点的压力也会比较大。
3. 所以在集群中建议再设置一批协调节点，这些节点只负责处理用户请求，实现请求转发，负载均衡等功能。

节点需求

1. master节点：普通服务器即可(CPU、内存 消耗一般)
2. data节点：主要消耗磁盘、内存。
   path.data: data1,data2,data3
   这样的配置可能会导致数据写入不均匀，建议只指定一个数据路径，磁盘可以使用raid0阵列，而不需要成本高的ssd。
3. Coordinating节点：对cpu、memory要求较高。

以上就是elasticsearch实战的相关知识！！！！！！