ELK+redis+filebeat收集Apache日志

最新推荐文章于 2024-05-14 17:37:39 发布
最新推荐文章于 2024-05-14 17:37:39 发布
阅读量1k 收藏 2
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xuetengbo111/article/details/109236833
版权
准备环境：两台centos7规划如下：ip地址：192.168.232.135：jdkkibanalogstashelasticsearchredis192.168.232.136：elasticsearchfilebeatApache1.关闭防火墙：systemctl stop firewalldsetenforce 0
摘要由CSDN通过智能技术生成

准备环境：两台centos7
规划如下：
ip地址：
服务端：192.168.232.135：
jdk
kibana
logstash
elasticsearch
redis
192.168.232.136：
jdk
elasticsearch
filebeat
Apache

1.关闭防火墙：

systemctl stop firewalld
setenforce 0

2.上传ELK压缩包并解压：

在这里插入图片描述
在这里插入图片描述

3.安装jdk（两台都安装）

[root@localhost ELK]# rpm -ivh jdk-8u131-linux-x64_.rpm

4.安装elasticsearch（两台都装）

rpm -ivh elasticsearch-6.6.2.rpm

5.配置192.168.232.135的elasticsearch配置文件

[root@localhost ELK]# vim /etc/elasticsearch/elasticsearch.yml

在这里插入图片描述

在这里插入图片描述
开启elasticsearch

[root@localhost ELK]# systemctl start elasticsearch

验证：
在这里插入图片描述
5.1配置192.168.232.136的elasticsearch配置文件
在这里插入图片描述
在这里插入图片描述
开启elasticsearch

[root@localhost ELK]# systemctl start elasticsearch

验证：
在这里插入图片描述
6.服务端安装redis


                

                
                
        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  笑拥孤独
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    1
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    2
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                  5
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      










                



	

		

			

				
					
Filebeat(8.7.0)实战配置

				
			

			

				

					zsexkong的博客
				

				

					06-13
					
					1525
					
				

			

		

		

			
				
topic: "kafka-name-topic"   # 输出到kafka的哪个topic。pattern: '^\[BEGIN|^Caused by'   # 匹配的规则。主要是记录多行合并的真实配置，避免新人踩坑。hosts: ["x.x.x.x:9092"]   # 输出的kafka地址。- /home/logs/auth/*.log  # 抓取的日志地址。id: my-filestream-auth   # id需要唯一。tags: ["auth-log"]   # 给抓取的数据打上标签。

			
		

	



                

              
                



	

		

			

				
					
掌握这些Filebeat配置技巧，让你成为日志收集领域的大咖

				
			

			

				

					趣学程序
				

				

					06-26
					
					779
					
				

			

		

		

			
				
接上文，我们一起学习了Filebeat的快速入门安装，接下来我们一起来学习一下如何配置Filebeat呢？快速学习FileBeat的配置项目。FIleBeat配置output目前 beat 可以发送数据给 Elasticsearch、Logstash、File、Kafka、Redis 和 Console 六种目的地址。Elasticsearchbeats 发送到 Elasticsearch 也是走...

			
		

	



                


  
              

                


	

		

			

				
					
Filebeat使用

					
最新发布

				
			

			

				

					qq_33358438的博客
				

				

					05-14
					
					647
					
				

			

		

		

			
				
无论您是从安全设备、云、容器、主机还是 OT 进行数据收集，Filebeat 都将为您提供一种轻量型方法，用于转发和汇总日志与文件，让简单的事情不再繁杂。

			
		

	





	

		

			

				
					
第三篇 filebeat  配置

				
			

			

				

					weixin_43394129的博客
				

				

					12-26
					
					252
					
				

			

		

		

			
				
一.介绍
　　filebeat的配置文件，默认的配置文件是调用filebeat.yml, 每一种安装，文件位置都不同，配置文件所在目录见文档:目录结构
　　还有一个完整示例配置文件filebeat.reference.yml，其中显示了所有未弃用的选项。
　　由于可配置的节点很多，这里介绍重要节点：
　　1.1 input
　　　　要手动配置filebeat(则不是使用module...

			
		

	



		

			
		



	

		

			

				
					
ELK详解（十六）——filebeat安装与使用

				
			

			

				

					永远是少年
				

				

					04-08
					
					6272
					
				

			

		

		

			
				
今天继续给大家介绍Linux运维相关知识，本文主要内容是使用filebeat的安装与使用。
一、filebeat概述
二、filebeat安装
三、filebeat配置
四、效果查看

			
		

	





	

		

			

				
					
filebeat配置文件详解

					
热门推荐

				
			

			

				

					m0_58969269的博客
				

				

					01-21
					
					1万+
					
				

			

		

		

			
				
#filebeat
 5.2.2
 
#prospector(input)段配置
 
filebeat.prospectors:
#每一个prospectors，起始于一个破折号"-"
 
-
 input_type: log #默认log，从日志文件读取每一行。stdin，从标准输入读取
 
paths:
#日志文件路径列表，可用通配符，不递归
 
-
/var/log/*.log
 
encoding:
 plain #编码，默认无，plain(不验证或者改变任何输入),
 latin1, utf...

			
		

	





	

		

			

				
					
ELK+Filebeat+Kafka+ZooKeeper构建日志分析平台

				
			

			

				

					01-23
				

			

		

		

			
				
ELK+Filebeat+Kafka+ZooKeeper构建日志分析平台，架构图解

			
		

	





	

		

			

				
					
ELK+Redis 收集tomcat日志文件

				
			

			

				

					09-07
				

			

		

		

			
				
centos6.7 成功搭建并运行elk+redis 按照文档来基本都能成功。

			
		

	





	

		

			

				
					
ELK+filebeat

				
			

			

				

					12-18
				

			

		

		

			
				
"ELK+filebeat"是一个常见的日志管理和分析解决方案，由Elasticsearch、Logstash、Kibana以及Filebeat这四个组件组成。这个组合在IT领域中被广泛应用于收集、处理、存储和可视化大量日志数据，对于系统监控、故障...

			
		

	





	

		

			

				
					
第四章：项目：ELK+Filebeat+Redis部署海量日志分析平台1

				
			

			

				

					08-08
				

			

		

		

			
				
在这个项目中，我们将构建一个基于ELK (Elasticsearch, Logstash, Kibana)的海量日志分析平台，并结合Filebeat和Redis来处理和存储大量服务器日志。以下是各个组件的功能和部署步骤的详细说明：  1. **Filebeat**： ...

			
		

	





	

		

			

				
					
适合java web全栈学习的博客项目（ssm+redis+elk+layui+jsp）.zip

				
			

			

				

					10-19
				

			

		

		

			
				
适合java web全栈学习的博客项目（ssm+redis+elk+layui+jsp） 适合java web全栈学习的博客项目（ssm+redis+elk+layui+jsp） 适合java web全栈学习的博客项目（ssm+redis+elk+layui+jsp） 适合java web全栈学习的博客...

			
		

	





	

		

			

				
					
FileBeat安装配置

				
			

			

				

					程序猿·李的博客
				

				

					11-11
					
					2616
					
				

			

		

		

			
				
Filebeat 是属于 Beats 家族的日志传送器——一组安装在主机上的轻量级传送器，用于将不同类型的数据传送到 ELK 堆栈中进行分析。每个节拍都专用于传送不同类型的信息——例如，Winlogbeat 传送 Windows 事件日志，Metricbeat 传送主机指标等等。Filebeat，顾名思义，提供日志文件。

			
		

	





	

		

			

				
					
filebeat 配置文件详解

				
			

			

				

					无锋剑
				

				

					10-21
					
					2613
					
				

			

		

		

			
				
Filebeat Configuration Example ############### Filebeat #############filebeat:  # List of prospectors to fetch data.  prospectors:    -      # paths指定要监控的日志      paths:        - /var/log/*.log      #指...

			
		

	





	

		

			

				
					
filebeat配置文件

				
			

			

				

					jialiu111111的博客
				

				

					01-25
					
					3551
					
				

			

		

		

			
				
filebeat.yml配置文件


# ============================== Filebeat inputs ===============================
#input设置，支持Docker,Container,HTTP JSON,Log,Kafka,MQTT,NetFlow,Redis,TCP,DCP,Syslog,Stdin

filebeat.inputs:
#input类型，默认是log
#一个type表示一个input，可以有多个
- type: log

			
		

	





	

		

			

				
					
安装配置 beats插件 安装一台Apache服务并配置 使用filebeat收集Apache服务器的日志 使用grok处理filebeat发送过来的日志 存入elasticsearch

				
			

			

				

					彭淦淦的博客
				

				

					05-25
					
					574
					
				

			

		

		

			
				
2.1 问题
本案例要求：
安装配置 beats插件
安装一台Apache服务并配置
使用filebeat收集Apache服务器的日志
使用grok处理filebeat发送过来的日志
存入elasticsearch
使用 kibana 做图形展示
2.2 步骤
实现此案例需要按照如下步骤进行。
步骤一：安装logstash
1）配置主机名，ip和yum源，配置/etc/hosts（请把es1-es5、kibana主机配置和logstash一样的/etc/hosts）
[root@logstash ~]# v

			
		

	





	

		

			

				
					
ELK详解（十七）——filebeat输出到Redis和Elasticsearch实战

				
			

			

				

					永远是少年
				

				

					04-08
					
					3583
					
				

			

		

		

			
				
今天继续给大家介绍Linux运维相关知识，本文主要内容是使用filebeat将日志输出到Redis和Elasticsearch的实战配置。
一、filebeat输出到Redis
（一）FIlebeat配置
（二）效果检验
二、Filebeat输出到Elasticsearch
（一）FIlebeat配置
（二）效果检验

			
		

	





	

		

			

				
					
ELK之filebeat收集多类型日志

				
			

			

				

					wjsaxx的博客
				

				

					08-03
					
					857
					
				

			

		

		

			
				
ELK之filebeat收集多类型日志
1.IP规划
10.0.0.33:filebeat+tomcat,filebeat收集系统日志、tomcat日志发送到logstash
10.0.0.32:logstash,将日志写入reids(input、output)
10.0.0.31:redis,大量缓存数据
10.0.0.30:logstash,从redis取出数据写入es(input、outpu...

			
		

	





	

		

			

				
					
ELK收集Apache访问日志实战案例

				
			

			

				

					weixin_45880055的博客
				

				

					08-14
					
					472
					
				

			

		

		

			
				
ELK收集日志常用的有两种方式，分别是：
1. 不修改源日志的格式，而是通过logstash的grok方式进行过滤、清洗，将原始无规则的日志转换为规则的日志。
2. 修改源日志输出格式，按照需要的日志格式输出规则日志，logstash只负责日志的收集和传输，不对日志做任何的过滤清洗。
这两种方式各有优缺点，第一种方式不用修改原始日志输出格式，直接通过logstash的grok方式进行过滤分析，好处是对线上业务系统无任何影响，缺点是logstash的grok方式在高压力情况下会成为性能瓶颈，如果要分析的日志量

			
		

	





	

		

			

				
					
elk+redis+filebeat7.5

				
			

			

				

					04-28
				

			

		

		

			
				
Elk、Redis和Filebeat7.5是三种不同的技术。ELK是一个完整的日志分析解决方案，包含了Elasticsearch、Logstash和Kibana。Elasticsearch是一个开源的搜索引擎，用于全文搜索、日志分析和指标分析等。Logstash是一个...

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		
评论 5

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值