ELK企业级日志分析系统

最新推荐文章于 2024-04-26 11:47:10 发布
最新推荐文章于 2024-04-26 11:47:10 发布
阅读量168 收藏
点赞数
文章标签： elk 运维 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lmy51848/article/details/118894301
版权

内容概要

一、ELK简介

ELK平台是一套完整的日志集中处理解决方案，将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用， 完成更强大的用户对日志的查询、排序、统计需求。

  • ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。
    • Elasticsearch 是用 Java 开发的，可通过 RESTful Web 接口，让用户可以通过浏览器与 Elasticsearch 通信。
    • Elasticsearch 是个分布式搜索和分析引擎，优点是能对大容量的数据进行接近实时的存储、搜索和分析操作。
  • Logstash：作为数据收集引擎。它支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到用户指定的位置,一般会发送给 Elasticsearch。
    • Logstash 由JRuby 语言编写，运行在 Java 虚拟机（JVM）上，是一款强大的数据处理工具， 可以实现数据传输、格式处理、格式化输出。Logstash 具有强大的插件功能，常用于日志处理。
  • Kiabana：是基于 Node.js 开发的展示工具，可以为 Logstash 和 ElasticSearch 提供图形化的日志分析 Web 界面展示，可以汇总、分析和搜索重要数据日志。
  • Filebeat：轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装 Filebeat，并指定目录与日志格式，Filebeat 就能快速收集数据，并发送给 logstash 进行解析，或是直接发给 Elasticsearch 存储，性能上相比运行于 JVM 上的 logstash 优势明显，是对它的替代。

二、使用ELK原因

  • 日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。

往往单台机器的日志我们使用grep、awk等工具就能基本实现简单分析，但是当日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。

一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，构建一套集中式日志系统，可以提高定位问题的效率。

三、完整日志系统基本特征

  • 收集：能够采集多种来源的日志数据
  • 传输：能够稳定的把日志数据解析过滤并传输到存储系统
  • 存储：存储日志数据
  • 分析：支持 UI 分析
  • 警告：能够提供错误报告，监控机制

四、ELK 的工作原理

  • （1）在所有需要收集日志的服务器上部署Logstash；或者先将日志进行集中化管理在日志服务器上，在日志服务器上部署 Logstash。
  • （2）Logstash 收集日志，将日志格式化并输出到 Elasticsearch 群集中。
  • （3）Elasticsearch 对格式化后的数据进行索引和存储。
  • （4）Kibana 从 ES 群集中查询数据生成图表，并进行前端数据的展示。

五、搭建ELK日志系统

实验环境
配置和安装ELK日志分析系统，安装集群方式，2个elasticsearch节点，并监控apache服务器日志

主机操作系统IP地址需要软件
apacheCentos7192.168.73.188httpd / Logstash
node1CentOS7192.168.73.88Elasticsearch/Kibana
node2CentOS7192.168.73.166Elasticsearch

关闭三台机器的防火墙和安全功能

systemctl stop firewalld
setenforce 0
1、配置elasticsearch环境

node1（192.168.73.88）
node2（192.168.73.166）

echo '192.168.73.88 node1' >> /etc/hosts
echo '192.168.73.166 node2' >> /etc/hosts

java -version    #如果没有安装，yum -y install java

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

2、部署elasticsearch软件

node1（192.168.73.88）
node2（192.168.73.166）

（1）安装elasticsearch—rpm包
  • 上传elasticsearch-5.5.0.rpm到/opt目录下
cd /opt
rpm -ivh elasticsearch-5.5.0.rpm

在这里插入图片描述

（2）加载系统服务
systemctl daemon-reload
systemctl enable elasticsearch.service

在这里插入图片描述

（3）更改elasticsearch主配置文件
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak

vim /etc/elasticsearch/elasticsearch.yml

#17行；取消注释，修改；集群名字
cluster.name: my-elk-cluster

#23行；取消注释，修改；节点名字（node2修改成node2）
node.name: node1

#33行；取消注释，修改；数据存放路径
path.data: /data/elk_data

#37行；取消注释，修改；日志存放路径
path.logs: /var/log/elasticsearch

#43行；取消注释，修改；不在启动的时候锁定内存
bootstrap.memory_lock: false

#55行；取消注释，修改；提供服务绑定的IP地址，0.0.0.0代表所有地址
network.host: 0.0.0.0

#59行；取消注释；侦听端口为9200（默认）
http.port: 9200

#68行；取消注释，修改；集群发现通过单播实现，指定要发现的节点 node1、node2

discovery.zen.ping.unicast.hosts: ["node1", "node2"]

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

检验配置

grep -v "^#" /etc/elasticsearch/elasticsearch.yml

在这里插入图片描述

（4）创建数据存放路径并授权
mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/

在这里插入图片描述

（5）启动elasticsearch是否成功开启
systemctl start elasticsearch
netstat -antp |grep 9200

在这里插入图片描述

（6）查看节点信息

在本主机（宿主机）进行访问

http://192.168.73.88:9200
http://192.168.73.166:9200

在这里插入图片描述
在这里插入图片描述

（7）检验集群健康状态

在本主机（宿主机）进行访问

http://192.168.73.88:9200/_cluster/health?pretty
http://192.168.73.166:9200/_cluster/health?pretty

在这里插入图片描述

（8）查看集群状态

在本主机（宿主机）进行访问

http://192.168.73.88:9200/_cluster/state?pretty
http://192.168.73.166:9200/_cluster/state?pretty

在这里插入图片描述

3、安装elasticsearch-head插件
  • 安装elasticsearch-head插件，用于管理集群
（1）编译安装node组件依赖包

node1（192.168.73.88）
node2（192.168.73.166）

yum -y install gcc gcc-c++ make

上传软件包 node-v8.2.1.tar.gz 到/opt
cd /opt
tar xzvf node-v8.2.1.tar.gz
cd node-v8.2.1/
./configure && make && make install
这里耗时比较长估计20-30分钟

在这里插入图片描述

（2）安装phantomjs（前端框架）

node1（192.168.73.88）
node2（192.168.73.166）

上传软件包 phantomjs-2.1.1-linux-x86_64.tar.bz2 到/opt目录下
cd /opt
tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin

在这里插入图片描述

（3）安装elasticsearch-head（数据可视化工具）

node1（192.168.73.88）
node2（192.168.73.166）

上传软件包 elasticsearch-head.tar.gz 到/opt
cd /opt
tar zxvf elasticsearch-head.tar.gz -C /usr/local/src/
cd /usr/local/src/elasticsearch-head/
npm install

在这里插入图片描述

（4）修改主配置文件

node1（192.168.73.88）
node2（192.168.73.166）

vim /etc/elasticsearch/elasticsearch.yml
......
#-------末尾;添加以下内容--------
http.cors.enabled: true
http.cors.allow-origin: "*"

#-----------参数解释-----------------------------
http.cors.enabled: true				#开启跨域访问支持，默认为 false
http.cors.allow-origin: "*"			#指定跨域访问允许的域名地址为所有


systemctl restart elasticsearch.service

在这里插入图片描述
在这里插入图片描述

（5）启动elasticsearch-head

node1（192.168.73.88）
node2（192.168.73.166）

必须在解压后的 elasticsearch-head 目录下启动服务，进程会读取该目录下的 gruntfile.js 文件，否则可能启动失败。
cd /usr/local/src/elasticsearch-head/
npm run start &

> elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head
> grunt server

Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100

elasticsearch-head 监听的端口是 9100
netstat -natp |grep 9100

在这里插入图片描述
在这里插入图片描述

（6）使用elasticsearch-head插件查看集群状态

在本主机（宿主机）进行访问

http://192.168.73.88:9100
在Elasticsearch 后面的栏目中输入
http://192.168.73.88:9200

http://192.168.73.166:9100
在Elasticsearch 后面的栏目中输入
http://192.168.73.166:9200

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

（7）创建索引

node1（192.168.73.88）
创建索引为index-demo,类型为test

curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"luwei","mesg":"hello world"}'

在这里插入图片描述
回到宿主机

http://192.168.73.88:9100

在这里插入图片描述点击数据浏览–会发现在node1上创建的索引为index-demo,类型为test, 相关的信息
在这里插入图片描述

4、安装logstash

收集日志输出到elasticsearch中

（1）安装Apahce服务（httpd）

Apache（192.168.73.188）

yum -y install httpd
systemctl start httpd

在这里插入图片描述

（2）安装Java环境

Apache（192.168.73.188）

java -version        ###如果没有装 安装yum -y install java
（3）安装logstash

Apache（192.168.73.188）

上传logstash-5.5.1.rpm到/opt目录下
cd /opt
rpm -ivh logstash-5.5.1.rpm

systemctl start logstash.service
systemctl enable logstash.service

#建立logstash软连接
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

在这里插入图片描述
在这里插入图片描述

（4）测试logstash命令

Apache（192.168.73.188）

logstash -e 'input { stdin{} } output { stdout{} }'

字段描述解释：
-f  通过这个选项可以指定logstash的配置文件，根据配置文件配置logstash
-e  后面跟着字符串 该字符串可以被当做logstash的配置（如果是” ”,则默认使用stdin做为输入、stdout作为输出）
-t  测试配置文件是否正确，然后退出

在这里插入图片描述
使用rubydebug显示详细输出，codec为一种编解码器

logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'

在这里插入图片描述
使用 Logstash 将信息写入 Elasticsearch 中

logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.73.88:9200"] } }'

在这里插入图片描述
在宿主机上面访问
查看索引信息

多出 logstash-日期
http://192.168.73.88:9100

在这里插入图片描述
在这里插入图片描述

（5）在Apache主机上做对接配置

Apache（192.168.73.188）

  • Logstash配置文件主要由三部分组成：input、output、filter（根据需要）
chmod 777 /var/log/messages
ll /var/log/messages

vim /etc/logstash/conf.d/system.conf
input {
       file{
        path => "/var/log/messages"
        type => "system"
        start_position => "beginning"
        }
      }
output {
        elasticsearch {
          hosts => ["192.168.73.88:9200"]
          index => "system-%{+YYYY.MM.dd}"
          }
        }


systemctl restart logstash.service

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在宿主机上进行访问
查看索引信息

多出 system-日期
http://192.168.73.88:9100

在这里插入图片描述
在这里插入图片描述

5、安装kibana

node1（192.168.73.88）

上传kibana-5.5.1-x86_64.rpm 到/opt目录
cd /opt
rpm -ivh kibana-5.5.1-x86_64.rpm

cd /etc/kibana/
cp kibana.yml kibana.yml.bak

vim kibana.yml
#2行；取消注释；kibana打开的端口（默认5601）
server.port: 5601
#7行；取消注释，修改；kibana侦听的地址
server.host: "0.0.0.0"
#21行；取消注释，修改；和elasticsearch建立联系
elasticsearch.url: "http://192.168.73.88:9200"
#30行;取消注释；在elasticsearch中添加.kibana索引
kibana.index: ".kibana"              				

systemctl start kibana.service 
systemctl enable kibana.service

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在宿主机上面访问

192.168.73.88:5601

首次登录创建一个索引 名字：system-* （这是对接系统日志文件）
然后点最下面的出面的create 按钮创建
在这里插入图片描述
然后点最左上角的Discover按钮 会发现system-*信息

在这里插入图片描述

（6）对接Apache主机的Apache 日志文件（访问日志、错误日志）

Apache（192.168.73.188）

cd /etc/logstash/conf.d/

vim apache_log.conf
input {
     file{
        path => "/etc/httpd/logs/access_log"
        type => "access"
        start_position => "beginning"
      }
     file{
        path => "/etc/httpd/logs/error_log"
        type => "error"
        start_position => "beginning"
      }
}
output {
    if [type] == "access" {
        elasticsearch {
          hosts => ["192.168.73.88:9200"]
          index => "apache_access-%{+YYYY.MM.dd}"
        }
    }
    if [type] == "error" {
        elasticsearch {
          hosts => ["192.168.73.88:9200"]
          index => "apache_error-%{+YYYY.MM.dd}"
        }
    }
}

/usr/share/logstash/bin/logstash -f apache_log.conf

在这里插入图片描述
去宿主机访问自己Apache页面来给日志增加记录
在这里插入图片描述

打开浏览器 输入http://192.168.73.88:9100/ 查看索引信息
能发现apache_error-2021.07.19和apache_access-2021.07.19
在这里插入图片描述

打开浏览器 输入http://192.168.73.88:5601，分别创建apache_error-* 和 apache_access-* 的索引

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

Wenn.
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
2019年ElasticSearch6.2.2版ELK日志分析系统实战教程
02-28
2019年新录制的ELK日志分析系统课程，采用elasticSearch+Logstash+Kibana；6.2新版本, 阿里云服务器上安装部署，讲解性能优化等知识点; ElasticSearch, Kibana, Logstash基础到项目实战 项目实战讲解ELK采集业务应用日志，整个流程配置，分析数据等。购买后加进技术问答群Q群699347262备注订单号后四位
ElasticSearch 7.8视频教程ELK企业级日志采集分析
11-08
ELK Stack日志系统是目前企业应用最为广泛的一套日志解决方案。ELK分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。后面新增了一个FileBeat，它是一个轻量级的日志收集处理工具，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具,后面又引入Redis和Filebeat优化架构。本套课程从零开始打造一个亿级日志收集分析平台。本课程才用7.8版本。
视频教程-ELK/ELFK(7.3 ) 企业PB级日志系统实战-Linux
weixin_34053493的博客
05-28 416
ELK/ELFK(7.3 ) 企业PB级日志系统实战 资深DevOps工程师...
实验操作：ELK日志分析系统--------------------------未完待续
Hero
10-29 195
ELK日志分析系统一、概览1、日志服务器2、ELK日志分析系统3、日志处理步骤4、Elasticsearch的概述5、Elasticsearch核心概念6、Logstash介绍7、LogStash主要组件8、Kibana介绍9、Kibana主要功能10、Elasticsearch的基础核心概念二、实验步骤2.1、实验准备 一、概览 1、日志服务器 提高安全性 集中存放日志 缺陷----------对日志的分析困难 2、ELK日志分析系统 Elasticsearch Logstash Kib
ELK企业级日志分析系统资源
05-15
ELK企业级日志分析系统资源
ELK企业日志分析系统部署实战！理论+实战！
01-09
文章目录前言一：理论部分1.1：什么是ELK日志分析系统？有什么作用？1.2：什么原因催生了ELK日志分析系统？1.3：ELK日志分析系统的开源工具解析1.3.1：Logstash解析1.3.2：ElasticSearch解析1.3.3：Kiabana解析1.4：...
ELK 企业内部日志分析系统
07-14
Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便 ② Logstash 接收,处理,转发日志的工具 ...
ELK Stack企业级日志平台日志采集实战视频教程（6.6版本）
06-13
ELK Stack日志系统是目前企业应用最为广泛的一套日志解决方案。ELK分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。后面新增了一个FileBeat，它是...本套课程从零开始打造一个亿级日志收集分析平台。
ELK/ELFK(7.3 ) 企业PB级日志系统实战
06-17
本堂课引入Kafka 让Elastic Stack 能适应企业PB级的业务日志量并弥补传统ELk架构的不足 ? ★学完这门课程会获得什么？ ? 首先从零开始教你部署Elastic Stack系统, 详细讲解Elastic产品,包括 Kibana.Logstash,...
企业日志分析 五大问题需重点注意
weixin_33924220的博客
12-06 266
资讯 |  安全 |  论坛 |  下载 |  读书 |  程序开发 |  数据库 |  系统 |  网络 |  电子书 |  微信学院 |  站长学院 |  源码 |  QQ |  专栏 |  考试 |  系统安全| 网站安全| 企业安全| 网络安全| 工具软件| 杀毒防毒| 加密解密|   首页 > 安全 > 企业安全 > 正文企业安全日志分析 五大问题需重点注意201...
企业级日志解决方案设计
weixin_39893410的博客
08-05 211
企业级日志解决方案设计 filebeat：部署在每台应用服务器、数据库、中间件中，负责日志抓取与聚合日志 日志聚合：把多行日志合并成一条，例如exception的堆栈信息等 logstash：通过各种filter结构化日志信息，并把字段transform成对应的类型 elasticsearch：负责存储和查询日志信息 kibana：通过ui展示日志信息、还能生成饼图、柱状图等 2. ELK常见部署架构 2.1. Logstash作为日志收集器 这种架构是比较原始的部署架构，在各应用服务器端分别部署一个Log
3节点ubuntu24.04服务器docker-compose方式部署高可用elk+kafka日志系统并接入nginx日志
qq_41905051的博客
04-23 982
3节点ubuntu24.04服务器docker-compose方式部署高可用elk+kafka日志系统并接入nginx日志
ELK创建仪表盘
qq_42301955的博客
04-22 315
ELK创建仪表盘
【kettle001】访问国产达梦数据库并处理数据至execl文件
kngines
04-22 424
一直以来想写下基于kettle的系列文章，作为较火的数据ETL工具，也是日常项目开发中常用的一款工具，最近刚好挤时间梳理、总结下这块儿的知识体系。熟悉、梳理、总结下达梦（DM）关系型数据库相关知识体系。
Git & TortoiseGit 详细安装使用教程
m0_37383484的博客
04-20 1092
Git 工具详细安装教程，TortoiseGit 工具详细安装使用教程。
Linux网络—DNS域名解析服务
weixin_62922268的博客
04-25 937
1）缓存域名服务器2）主域名服务器3）从域名服务器客户端会先将DNS解析请求发送给本地缓存域名服务器，如果本地缓存域名服务器有相关记录则直接返回给客户端，否则会将DNS解析请求发送给根域名服务器进行解析，根域名服务器会根据域名的顶级域再将DNS解析请求委派给相对应的顶级域名服务器进行解析，顶级域名服务器也会根据域名的二级域或子域再将DNS解析请求委派给相对应的二级域名或子域名服务器进行解析，最后子域名服务器会根据域名的主机名解析出相对应的IP地址，再返回给本地缓存域名服务器和客户端。
Docker和虚拟机的区别
最新发布
小张的博客
04-26 216
Docker和虚拟机（VM）在技术架构、资源利用率、启动速度、应用场景和管理监控等方面存在显著差异。以下是Docker和虚拟机的主要区别：12。
16 Linux-Java篇软件安装
qq_74289024的博客
04-24 1124
Nginx是一款轻量级的Web服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器。其特点是占有内存少，并发能力强，事实上nginx的并发能力在同类型的网页服务器中表现较好，中国大陆使用nginx的网站有：百度、京东、新浪、网易、腾讯、淘宝等。Nginx是由伊戈尔·赛索耶夫为俄罗斯访问量第二的Rambler.ru站点（俄文：Рамблер）开发的，第一个公开版本0.1.0发布于2004年10月4日。官网：https://nginx.org/发布前端反向代理服务器负载均衡。
ELK+kafka+reyslog+filebeat企业级部署
05-20
ELK（Elasticsearch、Logstash、Kibana）是一个开源的日志管理和分析平台，能够帮助企业收集、存储、搜索、分析和可视化各种类型的日志数据。而Kafka是一个高吞吐量的分布式消息队列系统，可以用来收集和传输大规模...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值