ELK日志分析平台1-Elasticsearch详解（ELK核心）

最新推荐文章于 2022-02-17 16:48:41 发布
最新推荐文章于 2022-02-17 16:48:41 发布
阅读量428 收藏
点赞数
分类专栏： 监控系统技术-zabbix和ELK日志分析系统 文章标签： elasticsearch 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41191813/article/details/114574717
版权

文章目录

前言

本篇开始学习ELK日志采集分析平台ELK
第一篇Elasticsearch
第二篇Logstash
第三篇Kitbana
第四篇filebead
。。。
elasticsearch官网

1、 elasticsearch介绍

Elasticsearch 是一个开源的分布式搜索分析引擎，建立在一个全文搜索引擎库 Apache Lucene基础之上。

Elasticsearch 不仅仅是 Lucene，并且也不仅仅只是一个全文搜索引擎：

  • 一个分布式的实时文档存储，每个字段 可以被索引与搜索
  • 一个分布式实时分析搜索引擎
  • 能胜任上百个服务节点的扩展，并支持 PB 级别的结构化或者非结构化数据

基础模块

  • cluster：管理集群状态，维护集群层面的配置信息。
  • alloction：封装了分片分配相关的功能和策略。
  • discovery：发现集群中的节点，以及选举主节点。
  • gateway：对收到master广播下来的集群状态数据的持久化存储。
  • indices：管理全局级的索引设置。
  • http：允许通过JSON over HTTP的方式访问ES的API。
  • transport：用于集群内节点之间的内部通信。
  • engine：封装了对Lucene的操作及translog的调用。

elasticsearch应用场景：

  • 信息检索***

  • 日志分析***

  • 业务数据分析**

  • 数据库加速

  • 运维指标监控

2、 elasticsearch安装与配置以及elasticsearch分布式部署

用三台虚拟机，全部一样的配置，改一下主机名即可

2.1 这里以server5为例

1）安装软件

软件下载：
  https://elasticsearch.cn/download/
安装软件
 # rpm -ivh jdk-8u171-linux-x64.rpm
 # rpm -ivh elasticsearch-7.6.1.rpm	  #7.6版本后自带jdk，不需要执行上一步

在这里插入图片描述
2）修改配置文件

vim /etc/elasticsearch/elasticsearch.yml     ##修改配置文件

  cluster.name: my-es			                            ##集群名称
  node.name: server7			                            ##主机名需要解析
  path.data: /var/lib/elasticsearch	                        ##数据目录
  path.logs: /var/log/elasticsearch	                        ##日志目录
  bootstrap.memory_lock: true	                            ##锁定内存分配
  network.host: 172.25.0.7		                            ##主机ip（0.0.0.0也可以）
  http.port: 9200			                                ##http服务端口
  cluster.initial_master_nodes: ["server5"]
  discovery.seed_hosts: ["server5", "server6","server7"]    ##节点

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

3）禁用swap

vim /etc/fstab
vim /etc/security/limits.conf

在这里插入图片描述
在这里插入图片描述

4）修改系统限制

vim /etc/security/limits.conf  ##修改系统限制
      elasticsearch soft memlock unlimited
	  elasticsearch hard memlock unlimited
	  elasticsearch 	   - 	nofile 	65536
	  elasticsearch	   -	nproc 	4096

vim jvm.options
		-Xms1g
		-Xmx1g
#Xmx设置不超过物理RAM的50％，以确保有足够的物理RAM留给内核文件系统缓存。但不要超过32G。

在这里插入图片描述
5）修改systemd启动文件

vim /usr/lib/systemd/system/elasticsearch.service 
 [Service]		#在service语句块下添加
  LimitMEMLOCK=infinity
		
systemctl daemon-reload

在这里插入图片描述

6）运行成功
在这里插入图片描述

2.2 同配置发到server6与server7上，只修改主机名

将配置文件传到server6，server7
在这里插入图片描述

禁用swap

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
修改/etc/elasticsearch/elasticsearch.yml文件的主机名

在这里插入图片描述

在这里插入图片描述

启动正常
在这里插入图片描述
在这里插入图片描述
测试：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3、 elasticsearch插件安装

注意：在集群里的某一台做即可实现web界面控制，这里使用server5

1）下载，解压elasticsearch-head插件

wget https://github.com/mobz/elasticsearch-head/archive/master.zip
unzip master.zip

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
2）head插件本质上是一个nodejs的工程，因此需要安装node

wget https://mirrors.tuna.tsinghua.edu.cn/nodesource/rpm_9.x/el/7/x86_64/nodejs-9.11.2-1nodesource.x86_64.rpm 
## 这里网站可能上不去，可以看第6章阿里云库安装nodejs

[root@server5 ~]# rpm -ivh nodejs-9.11.2-1nodesource.x86_64.rpm
[root@server5 ~]# node -v
v9.11.2
[root@server5 ~]# npm -v
5.6.0

在这里插入图片描述
在这里插入图片描述
3）更换npm源安装

cd elasticsearch-head-master/
npm install  --registry=https://registry.npm.taobao.org

在这里插入图片描述

4） 提前安装好phantomjs 相关

[root@server5 ~]# ls
elasticsearch-7.6.1-x86_64.rpm  nodejs-9.11.2-1nodesource.x86_64.rpm
elasticsearch-head-master       phantomjs-2.1.1-linux-x86_64.tar.bz2
master.zip

[root@server5 ~]# yum install -y bzip2
[root@server5 ~]# tar jxf phantomjs-2.1.1-linux-x86_64.tar.bz2
[root@server5 ~]# cd phantomjs-2.1.1-linux-x86_64/
[root@server5 phantomjs-2.1.1-linux-x86_64]# ls
bin  ChangeLog  examples  LICENSE.BSD  README.md  third-party.txt
[root@server5 phantomjs-2.1.1-linux-x86_64]# cd bin/
[root@server5 bin]# ls
phantomjs
[root@server5 bin]# mv phantomjs /usr/local/bin
[root@server5 bin]# phantomjs 
phantomjs: error while loading shared libraries: libfontconfig.so.1: cannot open shared object file: No such file or directory

[root@server5 ~]# yum provides */libfontconfig.so.1
[root@server5 ~]# yum install -y fontconfig-2.13.0-4.3.el7.x86_64

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
5）切换cnpm命令，后台启动head插件

[root@server5 elasticsearch-head-master]# npm install -g cnpm --registry=https://registry.npm.taobao.org
## 切换cnpm命令

[root@server5 ~]# cd elasticsearch-head-master/
[root@server5 elasticsearch-head-master]# cnpm install  ## 检查第二遍好了


启动head插件
[root@server5 elasticsearch-head-master]# cnpm run start &   ##后台运行

在这里插入图片描述
检查第一遍
在这里插入图片描述
第二遍
在这里插入图片描述
在这里插入图片描述

6）访问head插件服务

使用地址浏览器访问成功:
在这里插入图片描述

7）如果想要更改访问接口
在这里插入图片描述
在这里插入图片描述

8）修改ES跨域主持并重启ES服务

修改ES跨域主持
[root@server5 ~]# vim /etc/elasticsearch/elasticsearch.yml 
    http.cors.enabled: true	        # 是否支持跨域
    http.cors.allow-origin: "*"	    # *表示支持所有域名

重启ES服务
[root@server5 ~]# systemctl restart elasticsearch.service

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

9）新建索引

在这里插入图片描述
在这里插入图片描述

4、elasticsearch节点角色

Master：
主要负责集群中索引的创建、删除以及数据的Rebalance等操作。Master不负责数据的索引和检索，所以负载较轻。当Master节点失联或者挂掉的时候，ES集群会自动从其他Master节点选举出一个Leader。

Data Node：
主要负责集群中数据的索引和检索，一般压力比较大。

Coordinating Node：
原来的Client node的，主要功能是来分发请求和合并结果的。所有节点默认就是Coordinating node，且不能关闭该属性。

Ingest Node：
专门对索引的文档做预处理

5、elasticsearch节点优化

  • 在生产环境下，如果不修改elasticsearch节点的角色信息，在高数据量，高并发的场景下集群容易出现脑裂等问题。

  • 默认情况下，elasticsearch集群中每个节点都有成为主节点的资格，也都存储数据，还可以提供查询服务。

  • 节点角色是由以下属性控制：

    • node.master: false|true
    • node.data: true|false
    • node.ingest: true|false
    • search.remote.connect: true|false
      默认情况下这些属性的值都是true。

  • node.master：这个属性表示节点是否具有成为主节点的资格
    注意：此属性的值为true，并不意味着这个节点就是主节点。
    因为真正的主节点，是由多个具有主节点资格的节点进行选
    举产生的。

  • node.data：这个属性表示节点是否存储数据。

  • node.ingest: 是否对文档进行预处理。

  • search.remote.connect：是否禁用跨集群查询

5.1 第一种组合：（默认）

第一种组合：（默认）

  • node.master: true
  • node.data: true
  • node.ingest: true
  • search.remote.connect: true

这种组合表示这个节点即有成为主节点的资格，又存储数据。
如果某个节点被选举成为了真正的主节点，那么他还要存储数据，这样对于这个节点的压力就比较大了。
测试环境下这样做没问题，但实际工作中不建议这样设置。

5.2 第二种组合：（Data node）

第二种组合：（Data node）

  • node.master: false
  • node.data: true
  • node.ingest: false
  • search.remote.connect: false

这种组合表示这个节点没有成为主节点的资格，也就不参与选举，只会存储数据。
这个节点称为data(数据)节点。在集群中需要单独设置几个这样的节点负责存储数据。后期提供存储和查询服务。

[root@server5 elasticsearch]# vim elasticsearch.yml

在这里插入图片描述

5.3 第三种组合：（master node）

第三种组合：（master node）

  • node.master: true
  • node.data: false
  • node.ingest: false
  • search.remote.connect: false

这种组合表示这个节点不会存储数据，有成为主节点的资格，可以参与选举，有可能成为真正的主节点。
这个节点我们称为master节点。

[root@server5 elasticsearch]# vim elasticsearch.yml

在这里插入图片描述

5.4 第四种组合：（Coordinating Node）

第四种组合：（Coordinating Node）

  • node.master: false
  • node.data: false
  • node.ingest: false
  • search.remote.connect: false

这种组合表示这个节点即不会成为主节点，也不会存储数据，
这个节点的意义是作为一个协调节点，主要是针对海量请求的时候可以进行负载均衡。

5.5 第五种组合：（Ingest Node）

第五种组合：（Ingest Node）

  • node.master: false
  • node.data: false
  • node.ingest: true
  • search.remote.connect: false

这种组合表示这个节点即不会成为主节点，也不会存储数据，
这个节点的意义是ingest节点，对索引的文档做预处理。

5.6 生产集群中可以对这些节点的职责进行划分

  • 建议集群中设置3台以上的节点作为master节点，这些节点只负责成为主节点，维护整个集群的状态。
  • 再根据数据量设置一批data节点，这些节点只负责存储数据，后期提供建立索引和查询索引的服务，这样的话如果用户请求比较频繁，这些节点的压力也会比较大。
  • 所以在集群中建议再设置一批协调节点，这些节点只负责处理用户请求，实现请求转发，负载均衡等功能。

5.7 节点扩容与缩容

扩容和之前安装一样，然后将集群名字改为之前所做的集群名字即可加入集群,实现扩容。

缩容

1.暴力一点就是直接停止节点，该节点内容就会转移到别的节点

2. 正常转移方法，推荐
#删除节点前迁移分片：
curl -X PUT "localhost:9200/_cluster/settings" -H 'Content-Type:application/json' -d '{"transient":{"cluster.routing.allocation.exclude._ip":"172.25.13.12"}}'
#删除节点
[root@server7 ~]# systemctl stop elasticsearch.service

6、利用阿里云仓库epel安装nodejs

安装nodejs部分，之前的操作是一样的
[root@server7 yum.repos.d]# vim nodejs.repo
[root@server7 yum.repos.d]# cat nodejs.repo 
[epel]
name=epel-nodejs
baseurl=https://mirrors.aliyun.com/epel/7/x86_64/
gpgcheck=0
[root@server7 yum.repos.d]# yum repolist 
epel                            epel-nodejs                          13,550


[root@server7 yum.repos.d]# yum list nodejs
Available Packages
nodejs.x86_64                             1:6.17.1-1.el7                              epel
[root@server7 yum.repos.d]# yum install -y nodejs    ##依赖问题自动解决
[root@server7 yum.repos.d]# npm config set registry https://registry.npm.taobao.org  ##切换淘宝源
[root@server7 yum.repos.d]# npm install -g n   ##安装工具
[root@server7 ~]# n stable    #更新npm版本

[root@server7 ~]# vim .bash_profile
[root@server7 ~]# cat .bash_profile
PATH=$PATH:$HOME/bin:/usr/local/bin/node:/usr/local/bin/npm
[root@server7 ~]# npm -v     ##原来版本
3.10.10  
[root@server7 ~]# source  .bash_profile   ##加载环境变量
[root@server7 ~]# npm -v    ##新版
6.14.11
[root@server7 ~]# node -v 
v14.16.0
[root@server7 ~]# npm install cnpm -g   ##安装cnpm。相当于国内源

[root@server7 ~]# yum install -y unzip.x86_64 bzip2  ##解压工具必须提前做好，因为之后启动head插件需要用到
[root@server7 ~]# unzip elasticsearch-head-master.zip   ##下载head插件
[root@server7 ~]# cnpm install

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

玻璃酸钠滴眼液
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ELK日志分析-elasticsearch的部署
weixin_60551759的博客
12-26 964
下载安装 下载中心 - Elastic 中文社区https://elasticsearch.cn/download/这里下载了7.6.1 wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.6.1-x86_64.rpm yum install elasticsearch-7.6.1-x86_64.rpm -y systemctl daemon-reload 编辑yml文件,重启服务报错 17 ...
ELK日志分析平台(二) (elasticsearch节点角色+节点优化)
weixin_45649763的博客
05-26 493
文章目录elasticsearch节点角色elasticsearch优化节点划分节点需求实验 elasticsearch节点角色 Master： 主要负责集群中索引的创建、删除以及数据的Rebalance等操作。Master不负责数据的索引和检索，所以负载较轻。 当Master节点失联或者挂掉的时候，ES集群会自动从其他Master节点选举出一个Leader。 Data Node: 主要负责集群中数据的索引和检索，一般压力比较大。 Coordinating Node：(协调节点） 原来的Client
ELK日志分析平台(一) --- elasticsearch实战
qq_35887546的博客
05-28 708
ELK代表的是 elasticsearch + logstash数据采集 + kibana可视化 一、elasticsearch简介 简介 Elasticsearch 是一个开源的分布式搜索分析引擎，建立在一个全文搜索引擎库 Apache Lucene基础之上。 Elasticsearch 不仅仅是 Lucene，并且也不仅仅只是一个全文搜索引擎： 一个分布式的实时文档存储，每个字段 可以被索引与搜索 一个分布式实时分析搜索引擎 能胜任上百个服务节点的扩展，并支持 PB 级别的结构化或者非结构化数据 基
ELK详细安装部署
weixin_30633405的博客
03-01 139
一、前言 ​ 日志主要包括系统日志和应用程序日志，运维和开发人员可以通过日志了解服务器中软硬件的信息，检查应用程序或系统的故障，了解故障出现的原因，以便解决问题。分析日志可以更清楚的了解服务器的状态和系统安全状况，从而可以维护服务器稳定运行。 ​ 但是日志通常都是存储在各自的服务器中。如果管理数十台服务器， 查阅日志需要依次登陆不同的服务器，查看过程就会很繁琐从而导致工作效率低下。虽然可以使用 r...
elasticsearch日志分析
m0_62341392的博客
12-24 3693
elasticsearch和mysql的区别 一、安装配置 实验环境： 准备三台虚拟机，这三台虚拟机都要下载elasticsearch，7.6版本的就可以 本次实验从真机中传过来的 scp /home/westos/elasticsearch-7.6.1-x86_64.rpm server1: scp /home/westos/elasticsearch-7.6.1-x86_64.rpm server2: scp /home/westos/elasticsearch-76.1-x86_64.rp.
详解用ELK来分析Nginx服务器日志的方法
09-30
主要介绍了用ELK来分析Nginx服务器日志的方法,ELK是三个开源软件的缩写,分别表示Elasticsearch,Logstash,Kibana,需要的朋友可以参考下
详解利用ELK搭建Docker容器化应用日志中心
01-11
本文即将阐述如何利用ELK日志中心来收集容器化应用程序所产生的日志，并且可以用可视化的方式对日志进行查询与分析，其架构如下图所示： 架构图 镜像准备 镜像准备 ElasticSearch镜像 Logstash镜像 Kibana镜像...
elk+springboot+kafka日志跟踪配置1
08-08
ELK（Elasticsearch、Logstash、Kibana）是一款流行的日志分析平台，SpringBoot 是一个流行的 Java 框架，Kafka 是一个流行的消息队列系统。本文将详细介绍如何将 SpringBoot 集成 ELK 和 Kafka，以实现日志跟踪和...
ELK架构和Filebeat工作原理详解
01-27
ELK不是一款软件，而是Elasticsearch、Logstash和Kibana三种软件产品的首字母缩写。这三者都是开源软件，通常配合使用，而且又先后归于Elastic.co公司名下，所以被简称为ELKStack。根据GoogleTrend的信息显示，ELK...
1-Elasticsearch开发技术详解及技术指导.rar
09-15
本人从事ES搜索开发多年，本资料亲测具有指导意义，对于刚刚从事es或elk开发实践的人员有很大帮助，对于本文检索结合tika工具包具有优秀的指导意义
LinkedIn基于Kafka和ElasticSearch的实时日志分析系统
06-26
LinkedIn基于Kafka和ElasticSearch的实时日志分析系统
你看懂 Elasticsearch Log 中的 GC 日志了吗？
weixin_34292287的博客
09-22 1825
如果你关注过 elasticsearch 的日志，可能会看到如下类似的内容： [2018-06-30T17:57:23,848][WARN ][o.e.m.j.JvmGcMonitorService] [qoo--eS] [gc][228384] overhead, spent [2.2s] collecting in the last...
Logstash+ElasticSearch+Kibana日志分析系统
iteye_2022的博客
01-12 160
线上需求： 处理nginx的访问access日志和商城的搜索历史记录。（由于访问量不大、没有用到redis或者其他消息队列）。 之前做的一个版本使用solrcloud做电商搜索引擎、elasticsearch做实时日志系统。 参考文档资料： http://elasticsearch.cn/ medcl的中文社区 http://kibana.logstash.es/ELK st...
Elasticsearch在日志分析领域应用和运维实践
微信搜：import_bigdata，大数据领域硬核原创作者
10-26 534
本次分享是由来自阿里巴巴的高级工程师赵汉青 带来的。主要讲述了： 基于ELK Kafka 的日志分析系统 Elasticsearch 优化经验 Elasticsearch 运维实践 ElasticSearch介绍 分布式实时分析搜索引擎，优点包括： 查询近实时 内存消耗小，搜索速度快 可扩展性强 高可用 数据结构 FST(Finite State Transducer) ...
Elastic Stack日志分析（二）- Elasticsearch入门及核心概念详解
程序园@大Null
02-17 3124
Elasticsearch简介，什么是全文搜索引擎，Elasticsearch核心概念 VS 数据库核心概念，Elasticsearch系统架构，Elasticsearch VS Solr，Elasticsearch应用案例，Elasticsearch在windows上安装，Elasticsearch核心概念详解，索引（Index），类型（Type），文档（Document），字段（Field），映射（Mapping），分片（Shards），副本（Replicas），分配（Allocation）
ELK日志分析平台(elasticsearch)
Sun__s的博客
03-09 308
elasticsearch简介 Elasticsearch 是一个开源的分布式搜索分析引擎，建立在一个全文搜索引擎库 Apache Lucene基础之上。 Elasticsearch 不仅仅是 Lucene，并且也不仅仅只是一个全文搜索引擎： 一个分布式的实时文档存储，每个字段 可以被索引与搜索 一个分布式实时分析搜索引擎 能胜任上百个服务节点的扩展，并支持 PB 级别的结构化或者非结构化数据 基础模块 cluster：管理集群状态，维护集群层面的配置信息。 alloction：封装了分片分配相关的功能
ELK日志分析平台-（1）elasticsearch
Ma_JunSSR的博客
08-17 136
ELK是elasticsearch、logstash、kibana的组合简称，安装时，三个软件的版本需要匹配。 其中elasticsearch主要用来存储检索数据和数据处理，logstash主要用来数据采集和过滤然后给es，kibana主要从es里面加载数据然后展示。 1. elasticsearch简介 Elasticsearch 是一个开源的分布式搜索分析引擎，建立在一个全文搜索引擎库 Apache Lucene基础之上。 Elasticsearch 不仅仅是 Lucene，并且也不仅仅只是一个全文搜索
ElasticSearch构建千亿级日志分析系统-实时分析
yiyiatgis的专栏
04-16 869
摘要：分布式系统是目前很常见的解决方案，随之而来的是分析定位问题复杂度变高，本篇文章主要探讨如何构建一个日志采集与分析系统。
ELK系列(4) - Elasticsearch cannot write xcontent for unknown value of type class java.math.BigDecimal...
最新发布
06-09
这个错误通常是由于 Elasticsearch 索引中某个字段的数据类型与你的代码中数据类型不匹配所导致的。具体来说，可能是某个字段的类型为 BigDecimal，但你的代码中传递的值的类型不是 BigDecimal。 为了解决这个问题...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值