《Centos7——FileBeat+Redis+ELK构建企业级日志分析平台》

最新推荐文章于 2023-08-11 21:37:36 发布
最新推荐文章于 2023-08-11 21:37:36 发布
阅读量406 收藏
点赞数
分类专栏： 架构项目 文章标签： linux java centos 1024程序员节
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45842014/article/details/109219286
版权

目录

环境： 三台Centos7(2G内存、2个处理器、2个内核)
es1:redis kibana elasticsearch jdk
es2: httpd filebeat elasticsearch jdk
es3: httpd filebeat elasticsearch jdk

实验环境：
环境： 两台Centos7(2G内存、2个处理器、2个内核)

es1: jdk elasticsearch logstash kibana redis(192.168.194.130)
es2: jdk elasticsearch httpd filebeat(192.168.194.131)

在这里插入图片描述

ES-1部署(192.168.194.130)

elasticsearch包：

链接: https://pan.baidu.com/s/15_W_Kqfu0Gvk14bFunXNGg 提取码: 4a99 复制这段内容后打开百度网盘手机App，操作更方便哦

jdk包：

链接: https://pan.baidu.com/s/1YXeyNrqLHAQuj7LVQwxepQ 提取码: njmf 复制这段内容后打开百度网盘手机App，操作更方便哦

logstash包：

链接: https://pan.baidu.com/s/1hcRpNOEG5_5RfGgAulD1dA 提取码: jrcg 复制这段内容后打开百度网盘手机App，操作更方便哦

kibana包：

链接: https://pan.baidu.com/s/185sbP5Ey4WkNuh7pNA5nIg 提取码: 5fae 复制这段内容后打开百度网盘手机App，操作更方便哦

filebeat包：

链接: https://pan.baidu.com/s/1QM61Te_Jj7hg5z8KTTfhjg 提取码: 5zqf 复制这段内容后打开百度网盘手机App，操作更方便哦

redis包：

链接: https://pan.baidu.com/s/1F0CIi909rvjE4OTcs5WxEA 提取码: 9icb 复制这段内容后打开百度网盘手机App，操作更方便哦

1. 时间同步

[root@localhost ~]# yum -y install ntp   #安装ntp工具

[root@localhost ~]# ntpdate ntp1.aliyun.com   #同步时间

2. 关闭防火墙

[root@localhost ~]# systemctl stop firewalld 

[root@localhost ~]# setenforce 0

3. 安装JDK

因为elasticsearch服务运行需要java环境，因此两台elasticsearch服务器需要安装java环境。

[root@localhost ~]# yum -y install jdk-8u131-linux-x64_.rpm

4. 安装Elasticsearch

[root@localhost ~]# yum -y install elasticsearch-6.6.2.rpm

[root@localhost ~]# cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.`date +%F` #备份操作

配置elasticsearch，elk2配置一个相同的节点，通过组播进行通信，如果无法通过组播查询，修改成单播即可。

[root@localhost ~]# vim /etc/elasticsearch/elasticsearch.yml
[root@localhost ~]# cat /etc/elasticsearch/elasticsearch.yml|egrep -v "^#|^$"
cluster.name: my-application	##ELK的集群名称，名称相同即属于是同一个集群
node.name: node-1	#本机在集群内的节点名称
path.data: /var/lib/elasticsearch	#数据存放目录
path.logs: /var/log/elasticsearch	#日志保存目录
network.host: 192.168.194.130	#监听的IP地址
http.port: 9200		#服务监听的端口
discovery.zen.ping.unicast.hosts: ["192.168.194.130", "192.168.194.131"]	#单播配置一台即可

[root@localhost elasticsearch]# systemctl start elasticsearch #启动服务

5. 查看ES集群是否同步

2个集群显示为2即为同步

[root@localhost ~]# curl http://192.168.194.130:9200/_cluster/health?pretty=true
{
  "cluster_name" : "my-application",
  "status" : "green",
  "timed_out" : false,
  "number_of_nodes" : 2,
  "number_of_data_nodes" : 2,
  "active_primary_shards" : 6,
  "active_shards" : 12,
  "relocating_shards" : 0,
  "initializing_shards" : 0,
  "unassigned_shards" : 0,
  "delayed_unassigned_shards" : 0,
  "number_of_pending_tasks" : 0,
  "number_of_in_flight_fetch" : 0,
  "task_max_waiting_in_queue_millis" : 0,
  "active_shards_percent_as_number" : 100.0
}

6. 安装logstash

logstash启动失败解决方案：
重新开一台虚拟机安装logstash执行分发到报错的虚拟机
[root@localhost ~]# scp /etc/systemd/system/logstash.service

root@192.168.194.131:/etc/systemd/system

[root@localhost ~]# yum -y install logstash-6.6.0.rpm

[root@localhost ~]# cd /etc/logstash/conf.d

[root@localhost conf.d]# vim httpd.conf
input {
        redis {
                data_type => "list"
                host => "192.168.194.130"
                password => "123321"
                port => "6379"
                db => "1"
                key => "filebeat-httpd"
        }
}

output {
        elasticsearch {
                hosts => ["192.168.194.130:9200"]
                index => "redis-httpdlog-%{+YYYY.MM.dd}"
        }
}

7. 安装kibana

[root@localhost ~]# yum -y install kibana-6.6.2-x86_64.rpm

[root@localhost ~]# vim /etc/kibana/kibana.yml
[root@localhost ~]# cat /etc/kibana/kibana.yml |egrep -v "^#|^$"
server.port: 5601
server.host: "192.168.194.130"
elasticsearch.hosts: ["http://192.168.194.130:9200"]

[root@localhost ~]# systemctl start kibana
[root@localhost ~]# netstat -lptnu|grep 5601
tcp        0      0 192.168.194.130:5601    0.0.0.0:*               LISTEN      29277/node

8. 部署redis

  • logstash收集日志写入redis
    用一台服务器部署redis服务，专门用于日志缓存使用，一般用于web服务器产生大量日志的场景。
  • 这里是使用一台专门用于部署redis ，一台专门部署了logstash，在linux-elk1 ELK集群上面进行日志收集存到了redis服务器上面，然后通过专门的logstash服务器去redis服务器里面取出数据在放到kibana上面进行展示
  • 实验环境redis和logstash放在一台上

没有redis包执行此命令

[root@localhost ~]# wget http://download.redis.io/releases/redis-5.0.0.tar.gz

部署redis

[root@localhost ~]# tar xf redis-5.0.0.tar.gz
[root@localhost ~]# cp -r redis-5.0.0 /usr/local/redis
[root@localhost ~]# cd /usr/local/redis
[root@localhost redis-5.0.0]# make distclean #要清除所有生成的文件
[root@localhost redis-5.0.0]# make

报错：

在这里插入图片描述
解决方法：

[root@localhost redis]# yum -y install gcc-c++
  • 说关于分配器allocator， 如果有MALLOC 这个 环境变量， 会有用这个环境变量的 去建立Redis。
  • 而且libc 并不是默认的 分配器， 默认的是 jemalloc, 因为 jemalloc 被证明 有更少的 fragmentation problems 比libc。
  • 但是如果你又没有jemalloc 而只有 libc 当然 make 出错。 所以加这么一个参数
[root@localhost redis]# make

报错信息：

在这里插入图片描述

报错解决：

  • 注意：报错zmalloc.h:50:31: fatal error: jemalloc/jemalloc.h: No such file or directory
  • 改成：make MALLOC=libc

参考网页：
https://www.cnblogs.com/richerdyoung/p/8066373.html

[root@localhost redis]# vim README.md

在这里插入图片描述

[root@localhost redis]# make MALLOC=libc

[root@localhost redis]# ln -sv /usr/local/redis/src/redis-server /usr/bin/redis-server
"/usr/bin/redis-server" -> "/usr/local/redis/src/redis-server"

[root@localhost redis]# ln -sv /usr/local/redis/src/redis-cli /usr/bin/redis-cli
"/usr/bin/redis-cli" -> "/usr/local/redis/src/redis-cli"


[root@localhost conf.d]# cd /usr/local/redis

[root@localhost redis]# cp redis.conf redis.conf.bak #备份文件

[root@localhost redis]# vim redis.conf
[root@localhost redis]# cat redis.conf|egrep  "^bind|^requirepass|^daemonize"
bind 192.168.194.130
daemonize yes
requirepass 123321

[root@localhost redis]# redis-server ./redis.conf

16810:M 22 Oct 2020 15:37:48.980 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128.
解决方法：
[root@localhost redis]# echo 511 > /proc/sys/net/core/somaxconn

16810:M 22 Oct 2020 15:37:48.981 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect
解决方法：
[root@localhost redis]# vim /etc/sysctl.conf
[root@localhost redis]# cat /etc/sysctl.conf|grep vm
vm.overcommit_memory = 1

16810:M 22 Oct 2020 15:37:48.981 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect.
16810:M 22 Oct 2020 15:37:48.981 # WARNING you have Transparent Huge Pages (THP) support enabled in your kernel. This will create latency and memory usage issues with Redis. To fix this issue run the command 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' as root
解决方法：
[root@localhost redis]# sysctl vm.overcommit_memory=1
vm.overcommit_memory = 1
[root@localhost redis]# echo never > /sys/kernel/mm/transparent_hugepage/enabled

and add it to your /etc/rc.local in order to retain the setting after a reboot. Redis must be restarted after THP is disabled.
解决方法：
[root@localhost redis]# vim /etc/rc.local
[root@localhost redis]# cat /etc/rc.local|grep echo
echo never > /sys/kernel/mm/transparent_hugepage/enabled

9. 测试redis

[root@localhost redis]# redis-cli -h 192.168.194.130
192.168.194.130:6379> auth 123321
OK

ES2操作(192.168.194.131)

1. 时间同步

[root@localhost ~]# yum -y install ntp   #安装ntp工具
[root@localhost ~]# ntpdate ntp1.aliyun.com   #同步时间

2. 关闭防火墙

[root@localhost ~]# systemctl stop firewalld 

[root@localhost ~]# setenforce 0

3. 安装JDK

因为elasticsearch服务运行需要java环境，因此两台elasticsearch服务器需要安装java环境。

[root@localhost ~]# yum -y install jdk-8u131-linux-x64_.rpm

4. 安装Elasticsearch

[root@localhost ~]# yum -y install elasticsearch-6.6.2.rpm

[root@localhost ~]# cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.`date +%F` #备份操作

配置elasticsearch，elk2配置一个相同的节点，通过组播进行通信，如果无法通过组播查询，修改成单播即可。

[root@localhost ~]# vim /etc/elasticsearch/elasticsearch.yml
[root@localhost ~]# cat /etc/elasticsearch/elasticsearch.yml|egrep -v "^#|^$"
cluster.name: my-application	##ELK的集群名称，名称相同即属于是同一个集群
node.name: node-2	#本机在集群内的节点名称
path.data: /var/lib/elasticsearch	#数据存放目录
path.logs: /var/log/elasticsearch	#日志保存目录
network.host: 192.168.194.131	#监听的IP地址
http.port: 9200		#服务监听的端口

[root@localhost elasticsearch]# systemctl start elasticsearch #启动服务

5. 查看ES集群是否同步

2个集群显示为2即为同步

[root@localhost ~]# curl http://192.168.194.131:9200/_cluster/health?pretty=true
{
  "cluster_name" : "my-application",
  "status" : "green",
  "timed_out" : false,
  "number_of_nodes" : 2,
  "number_of_data_nodes" : 2,
  "active_primary_shards" : 6,
  "active_shards" : 12,
  "relocating_shards" : 0,
  "initializing_shards" : 0,
  "unassigned_shards" : 0,
  "delayed_unassigned_shards" : 0,
  "number_of_pending_tasks" : 0,
  "number_of_in_flight_fetch" : 0,
  "task_max_waiting_in_queue_millis" : 0,
  "active_shards_percent_as_number" : 100.0
}

6. 安装apache

[root@localhost ~]# yum -y install httpd
[root@localhost ~]# systemctl start httpd

7. 安装filebeat

filebeat替代logstash收集日志

  • filebeat简介

Filebeat是轻量级单用途的日志收集工具，用于在没有安装java的服务器上专门收集日志，可以将日志转发到logstash、elasticsearch或redis等场景中进行下一步处理。
官网下载地址：https://www.elastic.co/cn/downloads/past-releases#filebeat
官方文档：https://www.elastic.co/guide/en/beats/filebeat/current/configuring-howto-filebeat.html

[root@localhost ~]# yum -y install filebeat-6.8.1-x86_64.rpm

[root@localhost ~]# cd /etc/filebeat

[root@localhost filebeat]# cp filebeat.yml filebeat.yml.`date +%F`	#备份文件
1. 配置filebeat收集系统日志输出到文件
[root@localhost filebeat]# vim filebeat.yml
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/httpd/access_log
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 3
setup.kibana:
#output.redis:
#  hosts: ["192.168.194.130:6379"]
output.file:
  path: "/tmp"
  filename: "filebeat.txt"

processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~

[root@localhost filebeat]# touch /tmp/filebeat.txt

[root@localhost filebeat]# systemctl restart filebeat

登录apache网页(192.168.194.131)
查看是否有日志产生

[root@localhost filebeat]# tailf /tmp/filebeat.txt
{"@timestamp":"2020-10-22T08:16:06.740Z","@metadata":{"beat":"filebeat","type":"doc","version":"6.8.1"},"message":"192.168.194.1 - - [22/Oct/2020:16:15:56 +0800] \"GET / HTTP/1.1\" 403 4897 \"-\" \"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.106 Safari/537.36\"","prospector":{"type":"log"},"input":{"type":"log"},"beat":{"name":"localhost.localdomain","hostname":"localhost.localdomain","version":"6.8.1"},"host":{"name":"localhost.localdomain","containerized":false,"architecture":"x86_64","os":{"platform":"centos","version":"7 (Core)","family":"redhat","name":"CentOS Linux","codename":"Core"},"id":"1c6ed991c7e64fdb99475e39fd5092b7"},"source":"/var/log/httpd/access_log","offset":0,"log":{"file":{"path":"/var/log/httpd/access_log"}}}
2. 配置filebeat收集系统日志输出redis
[root@localhost filebeat]# vim filebeat.yml
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/httpd/access_log
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 3
setup.kibana:
output.redis:
  hosts: ["192.168.194.130:6379"]
  key: "filebeat-httpd" #这里自定义key的名称，为了后期处理
  db: 1 #使用第几个库
  timeout: 5 #超时时间
  password: 123321 #redis 密码
#output.file:
##path: "/tmp"
##filename: "filebeat.txt"
processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~
3. 进入ES-1验证redis的数据是否被取出
[root@localhost filebeat]# systemctl restart filebeat	#重启filebeat

[root@localhost ~]# redis-cli -h 192.168.194.130
192.168.194.130:6379> auth 123321
OK
192.168.194.130:6379> SELECT 1
OK
192.168.194.130:6379[1]> KEYS *
1) "filebeat-httpd"
192.168.194.130:6379[1]> LLEN filebeat-httpd
(integer) 45
192.168.194.130:6379[1]>

登录kibana网页(192.168.194.130:5601)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

逻辑思维菜鸟
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
centos7日志文件_8.7 sqlmap从入门到精通Linux服务器登录连接日志分析
weixin_34520664的博客
12-25 222
8.7.1-4 Linux记录用户登录信息文件Linux系统登录连接日志的文件有/var/run/utmp, /var/log/wtmp,/var/log/btmp这3个重要文件，这些文件不能使用编辑器打开，可以使用strins命令查看部分信息/var/run/utmp 记录当前正在登录系统的用户信息/var/log/wtmp 记录当前正在登录系统和历史登录系统的用户信息，包括关机，...
Centos 7系统日志
最新发布
Mortalz7
09-30 6731
CentOS 7系统生成的日志主要是通过systemd日志守护进程进行处理和记录的。其日志记录的内容包括系统和服务启动和关闭的信息、系统运行过程中产生的错误、警告和通知信息等等。 系统日志通常被记录在/var/log目录下，主要的日志文件有： 1.messages: 系统基本日志信息，包括系统启动、关闭、网络等信息。 2.secure: 系统认证和授权相关的日志信息，如登录、su操作、sudo操作等。 3.journalctl: 通过journalctl命令可以查看系统日志的详细信息。
ELK的搭建和使用
YIYIYI
08-11 4190
ELK的搭建和使用
centos 7.6 ——AWstate 日志分析工具——优化域名
weixin_42099301的博客
08-05 473
centos 7.6 ——AWstate 日志分析工具 文章目录centos 7.6 ——AWstate 日志分析工具(1)配置DNS服务(3) 安装AWstat(3)虚拟机win 10 验证(4)优化域名(4)win 10 验证 (1)配置DNS服务 drwxr-xr-x. 2 root root 6 10月 31 2018 rh [root@promote opt]# iptables -F [root@promote opt]# setenforce 0 [root@promote opt]# yu
ELK详解
waghaiping的博客
10-21 6573
一，搜索原理 1，前提条件 数据准备 a.获取数据 - 从互联网中获取数据 爬虫，网站数据 b.建立文档 - 方便本地查询，将之前获取的数 据，以文档的样式存在 采取专用的存储软件，将文件（Document）存储下来，每个Document里面包含了大量的内容区域（Field） c.词语解析 - 从文档里面提取关键字，便于后续检索 提取关键字（Term），便于后续检索 d.创建索引 - 将文档和关键字关联在一起
第四章：项目：ELK+Filebeat+Redis部署海量日志分析平台1
08-08
在这个项目中，我们将构建一个基于ELK (Elasticsearch, Logstash, Kibana)的海量日志分析平台，并结合Filebeat和Redis来处理和存储大量服务器日志。以下是各个组件的功能和部署步骤的详细说明： 1. **Filebeat**： ...
Centos7搭建ELK+filebeat.docx
08-24
【Centos7搭建ELK+filebeat】 ELK（Elasticsearch、Logstash、Kibana）是一个流行的...通过以上步骤，你可以成功在CentOS7上搭建ELK+filebeat系统，解决开发团队查看线上日志的权限问题，实现日志的高效管理和分析。
Centos7下搭建ELK日志分析系统
11-02
【Centos7下搭建ELK日志分析系统】 ELK栈是日志管理和分析的强大工具，由Elasticsearch、Logstash、Kibana三个组件组成。Elasticsearch是一个分布式的实时搜索和分析引擎，用于存储、分析和检索大量数据。Logstash...
Centos7 docker-compose安装ELK+Filebeat.zip
10-16
在IT行业中，ELK（Elasticsearch、Logstash、Kibana）栈是广泛...通过这个教程，你将能够在CentOS 7上搭建一个功能齐全的ELK+Filebeat日志管理平台，利用docker-compose简化部署流程，高效处理和分析服务器的日志数据。
CentOS 安装 PHP5.5+Redis+XDebug+Nginx+MySQL全纪录
10-24
主要介绍了在CentOS系统环境下安装 PHP5.5+Redis+XDebug+Nginx+MySQL开发环境的全过程，非常的细致详尽，推荐给有需要的小伙伴们参考下吧。
ELK：ElasticSearch常用操作记录
小白的专栏
11-14 851
记录下一些常见操作。。。 #删除索引 DELETE /my_index #修该es刷新间隔 PUT /my_index/_settings { "index" : { "refresh_interval" : "1s" } }
ELK日常使用基础篇
SOHU_TECH的博客
06-18 6257
本文字数：11149字预计阅读时间：28分钟前言在后端开发工程师的日常工作中，在遇到比如定位排查问题或是想要了解系统某些方面的情况时，会遇到以下的场景：查询某个接口请求的日志。查询某...
CentOS7查看日志
CrazyBrainwestcastle的博客
07-22 3637
tail -fn 200 logs/catalina.out   之前那个  从自己的那边copy过来算不算原创。。。。。   还有一个就算了
Centos7.2 搭建ELK-5.6.4日志分析平台（二）
夏冬丶王阳旭
11-29 2311
上一篇，我记录了elasticsearch，logstash，kibana三个软件的安装，
CentOS 7 查看日志
qq_34895657的博客
07-22 2660
tail -fn 200 logs/catalina.out
Linux搭建ELK日志收集系统：FIlebeat+Redis+Logstash+Elasticse
hqn笔记分享
10-11 763
Linux搭建ELK日志收集系统：FIlebeat+Redis+Logstash+Elasticse 转载至[链接](https://blog.51cto.com/13859393/2156844) Centos7部署ELK日志收集系统 一、ELK概述： E...
全网最全-ELK搭建教程(Filebeat+redis+Logstash+ES+Kibana)
troshin的博客
02-01 2328
"一定要按照顺序安装，否则会出现一些无法理解的错误。" 架构： 一、安装java 1、查看是否有自带的java java -version 如果有则卸载，个人是另外自行安装的。然后安装，具体安装JDK可参考我的另外一篇文章： https://blog.csdn.net/qq_33877149/article/details/73437749 二、安装ElasticSearch...
elk系列4之kibana图形化操作
weixin_33872660的博客
12-10 116
preface 我们都搭建了ELK系统，且日志也能够正常收集的时候，那么就配置下kibana。我们可以通过kibana配置柱状图，趋势图，统计图，圆饼图等等各类图。下面就拿配置统计图和柱状图为例，结合dashboard来说说如何配置。 选择柱状图 选择Nginx日志 时间的话根据自己需求选择，我这里是选择这一周的。然后选择X轴，然后点击aggregation(聚合)，field(字段)，选择l...
ELK使用记录-Kibana操作
兮赫的博客
02-27 536
自己在项目中用到的一些东...
lamp搭建实验文档(VMWare+Cent Os7+Mariabd+PHP).docx
07-12
本文档详细介绍了如何在VMWare虚拟机环境中使用CentOS 7构建LAMP（Linux, Apache, Mysql, PHP）开发环境。首先，你需要下载并安装VMWare Workstation Pro，选择合适的安装路径，确保不放在C盘，并根据系统配置进行...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值