ELK日志分析系统

已于 2023-12-15 17:11:55 修改
阅读量212 收藏
点赞数 1
文章标签： elk
于 2023-11-27 18:07:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_71147683/article/details/134646117
版权

目录

什么是elk？

ES的作用

数据收集工具

数据流程图

总结

日志系统的特征

实验准备

三台主机

​编辑

​编辑

安装可视化界面

​编辑

配置日志收集

安装kibana

elk监控http服务日志

elk监控Nginx服务日志（json格式 ）

logstash的命令常用选项

es的性能调优

修改打开的最大文件数

对系统内存优化

内核优化

elk总结

什么是elk？

elk是一套完整的日志集中处理方案，由三个开源的软件简称组成：

E：elasticSearch ES 是开源的，分布式的存储检索引擎（牵引型的非关系数据库），存储日志

java代码开发的，基于Lucene结构开发的一套检索引擎，拥有一个web接口，用户可以通过浏览器的形式和ES组件通信

ES的作用

存储，允许全文搜索，结构化搜引（索引点），索引电可以支持大容量的日志数据，也可以搜索不同类型的文档

k：kiabana 图形化界面，可以更好的分析存储在ES上的日志数据，提供了一个图形化的界面，来浏览ES上的日志数据，汇总分析，搜索

l：Logstash 数据收集引擎，可以动态的

（实时）从各种服务应用收集日志资源，还可以收集到日志数据进行过滤，分析，丰富，统一格式等等操作，然后把数据同步到ES存储引擎

RUBY语言编写的，运行在java虚拟机上的一个强大的数据处理工具，数据传输，格式化处理，格式化输出，主要用来处理日志

数据收集工具

filebeat 轻量级的开源的，日志收集共计，收集的速度较快，但是没有数据分析和过滤的能力，一般都是Logstash一块使用

kafka

EabbitMQ 中间件消息队列

数据流程图

总结

elk的作用，当我们管理一个大集群时，需要分析和定位的日志就会很多，每一台服务器分别去分析，将会耗时耗力，所以我们应运而生了一个集中的统一的日志管理和分析系统，极大的提高了定位问题的效率

日志系统的特征

1、收集，可以收集基本上市面上常用的软件日志

2、传输，收集到的日志需要发送到ES上

3、存储，es负责存储数据

4、UI,图形化界面（kiabana）

实验准备
三台主机

es1 20.0.0.10

es2 20.0.0.11

Logstash kiabana 20.0.0.12（4核8G）

三台组件，最少要2核/4G

关闭防火墙和安全机制
#三台服务器上要有java
#查看java版本
JAVA -version

#配置两台es服务器

cd /opt
#把elasticsearch源码包拖到opt目录下


#安装rpm包
rmp -ivh elasticsearch

#修改配置文件
cd /etc/elasticsearch
es
#把配置文件做备份
cp elasticsearch.yml elasticsearch.yml.bak

vim elasticsearch.yml
#集群名称
cluster.name: my-elk-cluster

node.name: node1
node.master: true
node.data: true
#33行
path.data: /opt/log
#37行
#日志存放路径
默认
#45行 
#禁止es使用交换分区
bootstrap.memory_lock: true

#56行
#监听端口
network.host： 0.0.0.0
#65行
#对外提供访问的端口
http.port: 9200
#es内部通信的端口
transport.tcp.port: 9300
#71行
discovery.zen.ping.unicast.hosts: ["20.0.0.10:9300", "20.0.0.11:9300"]

vim elasticsearch.yml
#集群名称
cluster.name: my-elk-cluster

node.name: node1
node.master: false
node.data: true
#33行
path.data: /opt/log
#45行 
#禁止es使用交换分区
bootstrap.memory_lock: true
#56行
#监听端口
network.host： 0.0.0.0
#65行
#对外提供访问的端口
http.port: 9200
#es内部通信的端口
transport.tcp.port: 9300
#71行
discovery.zen.ping.unicast.hosts: ["20.0.0.10:9300", "20.0.0.11:9300"]

#查看修改的文件
grep -v "^#" /etc/elasticsearch/elasticsearch.tml

重启服务
systemctl restart elasticsearch
systemctl enable elasticsearch
重启不报错

查看端口（服务是否启）
netstat -antp | grep 9200

浏览器访问测试一下
20.0.0.10:9200
20.0.0.11:9200

健康状态
http://20.0.0.10:9200/_cluster/health?pretty 
http://20.0.0.11:9200/_cluster/health?pretty
安装可视化界面
es两台服务器安装node
把node源码拖到opt下
yum install gcc gcc-c++ make -y

tar zxvf node-v8.2.1.tar.gz

cd /node-v8
./configure
make -j 2 && make install


安装可视化web插件
把phantomjs插件拖到opt目录下
解压
cd /opt
tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2
cd /opt/phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin

安装 Elasticsearch-head 数据可视化工具
上传软件包 elasticsearch-head-master.zip 到/opt
cd /opt
unzip elasticsearch-head-master.zip
cd elasticsearch-head-master/
npm install

如果嫌速度慢可以使用淘宝镜像
npm config set registry http://registry.npm.taobao.org/  
npm install

vim /etc/elasticsearch/elasticsearch.uml
在最后一行后添加
#开启跨域访问的支持
http.cors.enabled: true
#开启跨域访问之后，允许访问的域名地址*：所有
http.cors.allow-origin: "*"

重启服务
systemctl restart elasticsearch

查看端口（服务是否启）
netstat -antp | grep 9200

npm run start &

查看端口（服务是否启）
netstat -antp | grep 9100

浏览器
20.0.0.10:9100
20.0.0.11:9100

9100是可视化工具的访问接口：9200还是es数据库的访问端口
配置日志收集
查看java版本
java -version

把Logstash拖到opt目录下
cd /opt
rpm -ivh logstash-6.7.2.rpm                          
systemctl start logstash.service                      
systemctl enable logstash.service

ln -s /usr/share/Logstash /usr/local/bin

logstash -e 'input { stdin{} } output { stdout{} }'
#所有键盘命令行输出，转化成标准输出（rubydebug的模式），6.0之后，logstash的默认输出格式就是rubydebug格式的标准输出

logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["20.0.0.10:9200", "20.0.0.11:9200"]} }' --path.data /opt/test1
#区分不同的数据存放目录，6.0之后logstash自带的输出格式rubydebug，可以自动的把输出格式，定义为统一的标准格式输出
安装kibana
安装kibana
cd /opt
rpm -ivh kibana-6.7.2-x86_64.rpm
修改配置文件
vim /etc/kibana.yml
2行
server.port: 5601
7行
server.host: "0.0.0.0"
28行
elasticsearch.host: ["http://20.0.0.10:9200","http://20.0.0.11:9200"]

37行
kibana.index: ".kibana"

96行
logging.dest: /var/log/kibana.log
113行
il8n.locale: "zh-CN"

创建日志目录
touch /var/log/kobana.log
chown kibana:kibana /var/log/kibana.log

重启服务
开机自启
查看服务是否启动
systemctl start kibana.service
systemctl enable kibana.service
netstat -natp | grep 5601

验证 Kibana
浏览器访问 
20.0.0.12:5601

opt目录下创建log目录
mkdir log
cd log

vim system.conf
input {
	file{
	#收集日志的路径
	 	path=>"/var/log/messages"
	 	type =>"system"
	 	#收集日志文件
	 	start_position => "beginning"
	}
}
output {
	elasticsearch {
			hosts => ["20.0.0.10:9200","20.0.0.11:9200"]
			index =>"system-%{+YYYY.MM.dd}"
			
	}
}

logstash -f system.conf --path.data /opt/xiaobu


kibana 
先点击管理
创建索引
system-*
下一步
@timestamp 
Create index pattern
elk监控http服务日志
添加服务日志

vim 
input {
	file{
	#收集日志的路径
	 	path=>"/var/httpd/logs/access_log"
	 	type =>"access"
	 	#收集日志文件
	 	start_position => "beginning"
	}
}
	file{
	#收集日志的路径
	 	path=>"/var/httpd/logs/error_log"
	 	type =>"error"
	 	#收集日志文件
	 	start_position => "beginning"
	}
}

output {
	if [type] == "access" {
		elasticsearch {
				hosts => ["20.0.0.10:9200","20.0.0.11:9200"]
                index => "http_access-%{YYYY.MM.dd}"
		}
	}
	if [type] == "error" {
		elasticsearch {
				hosts => ["20.0.0.10:9200","20.0.0.11:9200"]
                index => "http_error-%{YYYY.MM.dd}"
		}
	}
}


logstash -f httpd.conf --path.data /opt/test1
elk监控Nginx服务日志（json格式 ）
修改Nginx配置文件，修改为json格式
在全局模块中配置
http {
    include       mime.types;
    default_type  application/octet-stream;
    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';
     log_format  json  '{"@timestamp":"$time_iso8601",'
                      '"host":"$server_addr",'
                      '"clientip":"$remote_addr",'
                      '"size":$body_bytes_sent,'
                      '"responsetime":$request_time,'
                      '"upstreamtime":"$upstream_response_time",'
                      '"upstreamhost":"$upstream_addr",'
                      '"http_host":"$host",'
                      '"url":"$uri",'
                      '"referer":"$http_referer",'
                      '"agent":"$http_user_agent",'
                      '"status":"$status"}';
    #access_log  logs/access.log  main;
    access_log  /usr/local/nginx/logs/access.log  json;


在opt目录下创建conf
vim nginx.conf

input {
  file{
   path => "/usr/local/nginx/logs/access.log"
   type => "access"
   start_position => "beginning"
 }
  file{
   path => "/usr/local/nginx/logs/error.log"
   type => "error"
   start_position =>"beginning"
 }
}
output {
 if [type] == "access" {
   elasticsearch {
    hosts => ["20.0.0.10:9200","20.0.0.11:9200"]
    index => "nginx_access-%{+YYYY.MM.dd}"
   }
   }
    if [type] == "error" {
   elasticsearch {
    hosts => ["20.0.0.10:9200","20.0.0.11:9200"]
    index => "nginx_error-%{+YYYY.MM.dd}"
   }
 }
}
logstash -f nginx.conf --path.data /opt/test3


# --path.data /opt/test3：加上后会自动生成数据的工作目录且工作目录不能重复
path.config: /opt/log
#/opt/log:配置文件的指定位置
path.data: /var/lib/logstash
#/var/lib/logstash：这个工作目录不需要修改

logstash的命令常用选项
-f	指定配置文件，根据配置文件识别输入和输出流
-e	测试，从命令行当中获取输入，然后经过Logstash加工之后，形成一个标准输出
-t	检测额配置文件是否正确，然后退出
es的性能调优
修改打开的最大文件数
vim /etc/security/limit.conf

* soft nofile 65536
* hard nofile 65536
* soft nproc 32000
* hard nproc 32000
#不对内存使用限制
* soft memlock unlimited 
* hard memlock unlimited
重启
reboot
对系统内存优化
vim /etc/systemd/system.conf
#一个用户会话的默认最大文件描述符的限制量
#文件描述符：用于标识打开文件或者I/O资源限制的整数
DefaultLimitNOFILE=65536
#一个用户可以打开的最大进程数量的限制 32000 ，一个用户的终端可以运行多少个进程
DefaultLimitNPROC=32000
#一个用户的终端默认锁定内存的限制，不限制
DefaultLimitMEMLOCK=infinity
内核优化

es是基于lucene架构，实现的一款索引型数据库，lucene可以利用操作系统的内存来缓存es的索引数据

提供更快的查询速度，在工作中我们会把系统的一般内存留给lucene

机器内存小于64G，50%给es，50%给操作系统，供lucene使用

机器内存大于64G，es分配4-32G即可，其他的都给操作系统，供lucene

vim /etc/sysctl.conf
vm.max_map_count=262144
#一个进程可以拥有的最大内存映射区参数
#内存映射：将文件或者其他设备映射进程地址空间的方法，允许进程直接读取或写入文件，无需常规的I\O方式，映射空间越大，ES和lucene的速度越快
2g/262144
4g/4194304
8g/8388608
elk总结
es：存储数据，索引型的数据库

logstash：收集日志，然后按照标准化格式发送给es（RUBYDEBUG的格式）

k：可视化工具，更人性化的显示用户信息，方便用户检索查询

小布爱吃糖.
关注
开源日志管理系统
03-29
logstash，开源日志管理系统。可以替代splunk。
开源日志系统 - log4cplus (六)
lulixue专栏
01-09 1602
log4cplus在很多方面做的都很出色，但是使用过程有些地方感觉不爽。在继续吹捧之前我先把不爽之处稍微提一提，然后继续介绍关于线程和套接字的知识。### 一些可以改进之处 ###1. 用户自定义LogLevel的实现机制不够开放在第五篇中曾经介绍过如何实现用户自行定义LogLevel，为了实现比较理想的效果，甚至还需要改log4cplus的源代码。：（2. 生成Logger对
运维学习————运维日志分析系统es——Elasticsearch
最新发布
m0_73376570的博客
09-12 1446
Elasticsearch 是一个分布式的开源搜索和分析引擎，适用于所有类型的数据，包括文本、数字、地理空间、结构化和非结构化数据。Elasticsearch 在 Apache Lucene 的基础上开发而成，由 Elasticsearch N.V.（即现在的 Elastic）于 2010 年首次发布。Elasticsearch 以其简单的 REST 风格 API、分布式特性、速度和可扩展性而闻名，是 Elastic Stack 的核心组件
开源日志系统 - log4cplus (一)
lulixue专栏
01-09 4411
log4cplus是C++编写的开源的日志系统，功能非常全面，用到自己开发的工程中会比较专业的。本文介绍了log4cplus基本概念，以及如何安装，配置。 ### 简介 ###log4cplus是C++编写的开源的日志系统，前身是java编写的log4j系统.受Apache Software License保护。作者是Tad E. Smith。log4cplus具有线程安全、灵活、
开源日志系统比较：scribe、chukwa、kafka、flume
ronon77的专栏
05-07 508
1. 背景介绍 许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征： （1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦； （2） 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统； （3） 具有高可扩展性。即：当数据量增加时，可以通过增加节点进行水平扩展。 本文从...
开源日志系统
Dalek的专栏
02-26 539
http://code.google.com/p/google-glog
Centos7下搭建ELK日志分析系统
11-02
【Centos7下搭建ELK日志分析系统】 ELK栈是日志管理和分析的强大工具，由Elasticsearch、Logstash、Kibana三个组件组成。Elasticsearch是一个分布式的实时搜索和分析引擎，用于存储、分析和检索大量数据。Logstash...
C++ 开源日志系统
03-20
里面包含 log4cplus 类库文件 说明书 我自己画的类图 使用方式
Loki ：一个可扩展，高可用性，多用户的日志聚合系统
qianshanding0708的博客
06-21 2199
最近，在对公司容器云的日志方案进行设计的时候，发现主流的ELK或者EFK比较重，再加上现阶段对于ES复杂的搜索功能很多都用不上最终选择了Grafana开源的Loki日志系统，下面介绍下L...
推荐开源项目：OK Log——简单高效的日志管理系统
gitblog_00036的博客
05-11 449
推荐开源项目：OK Log——简单高效的日志管理系统 oklogA distributed and coördination-free log management system项目地址:https://gitcode.com/gh_mirrors/ok/oklog 项目介绍 OK Log 是一个为大规模集群设计的分布式、无需协调的日志管理解决方案。它是一个本地部署的选择，旨在成为基础构建块，易...
简单易用的开源用户操作日志记录系统
架构师易哥的博客
05-24 7025
我们开发的业务系统通常会提供给很多人使用，那在使用的过程中，日志系统变得非常重要。 日志系统记录的用户行为有以下的作用： 从系统用户角度看：它展示了用户自身的操作历史和具体对象的变动历史，便于用户进行梳理 从系统管理员角度看：它可以记录了所有用户操作，便于我们定位异常行为 例如，在git的project操作中，我们就可以看到这样的操作日志展示： 对于这样的日志记录，我们可以在相关记录点添加对...
探秘Aurora：一款创新的开源日志处理系统
gitblog_00073的博客
04-21 430
探秘Aurora：一款创新的开源日志处理系统 去发现同类优质开源项目:https://gitcode.com/ 项目简介 是一个由krsunm开发并维护的开源日志处理系统，它旨在简化大规模日志管理和分析的过程。通过提供高效、实时的日志收集、存储和查询能力，Aurora可以帮助开发者和运维人员更好地理解和优化他们的应用程序性能。 技术分析 高效实时收集 Aurora采用了分布式的设计，能够轻松扩展以...
开源日志系统汇总，整理
每天积累一点，一年后你会发现，自己变化很大
08-11 1305
Scribe: 是facebook开源的日志收集系统。它能够从各种日志源上收集日志，存储到一个中央存储系统(可以是NFS，分布式文件系统等)上，以便于进行集中统计分析处理。它为日志的“分布式收集，统一处理”提供了一个可扩展的，高容错的方案.有scribe agent(收集)，scribe(接受数据，topic的数据发送给不同的对象。eg,hdfs)，存储系统组成(scribe支持非常多的store
开源服务器日志审计系统,开源日志管理系统
weixin_36322275的博客
08-12 4262
开源日志管理系统 内容精选换一换在Log窗口的System Log页签里，您可以查看系统运行日志，操作步骤如下：MindStudio不支持通过界面方式删除设备上的system log日志。如需对日志进行管理，请使用root用户登录到设备侧，对/var/log/npu/slog目录下日志进行管理操作。进行系统日志查看前，需要已添加Device设备，才能获取到Device设已成功登录Java性能分析。...
基于Elasticsearch + Fluentd + Kibana（EFK）搭建日志收集管理系统
热门推荐
dvlinker的技术专栏
07-01 1万+
详细讲述基于Elasticsearch、Fluentd和Kibana的日志管理系统搭建过程。
手把手教你搭建ELK日志分析系统
"快速搭建ELK日志分析系统，包括Elasticsearch、Logstash和Kibana的核心组件，用于日志收集、分析和可视化。Elasticsearch是一个强大的搜索和分析引擎，Logstash处理各种日志源，而Kibana则提供图形化界面。" 在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值