Linux日志服务器_ELK搭建

最新推荐文章于 2024-05-12 09:40:19 发布
最新推荐文章于 2024-05-12 09:40:19 发布
阅读量392 收藏
点赞数 1
分类专栏： elk配置详解 文章标签： linux centos elk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mingwa_/article/details/111144152
版权

Linux日志服务器_ELK搭建

1.实验环境及准备

（1）两台liunx虚拟机，内存至少为4G；
（2）第一台虚拟机IP为192.168.110.11，第二台虚拟机IP为192.168.110.12，可以ping通网络，彼此之间可以ping通
（3）有相应的安装包
（4）虚拟机版本为liunx centos 7.3

2.部署elasticsearch群集

1.第1台虚拟机配置群集结点

[root@localhost ~]# vim /etc/hostname
elk-n1.sevenwin.org
[root@localhost ~]# vim /etc/hosts
192.168.110.11 elk-n1 elk-n1.sevenwin.org
192.168.110.12 elk-n2 elk-n1.sevenwin.org
[root@localhost ~]# vim /etc/selinux/config      //关闭SELINUX，等同setenforce=0
SELINUX=permissive    
[root@localhost ~]# vim /etc/security/limits.conf
*       soft    nofile  65536    //加到最后一行前
*       hard    nofile  131072
*       soft    nproc   4096
*       hard    nproc   8192
*       soft    memlock unlimited
*       hard    memlock unlimited
[root@localhost ~]# cp '/tmp/VMwareDnD/22777c89/jdk-8u161-linux-x64.tar.gz' ./
[root@localhost ~]# tar zxvf jdk-8u161-linux-x64.tar.gz 
[root@localhost ~]# mv jdk1.8.0_161/ /usr/local/jdk1.8.0
[root@localhost ~]# vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0
export CLASSPATH=./:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH

在这里插入图片描述

[root@localhost ~]# source /etc/profile
[root@localhost ~]# java -version
java version "1.8.0_161"
Java(TM) SE Runtime Environment (build 1.8.0_161-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.161-b12, mixed mode)
[root@localhost ~]# reboot
[root@elk-n1 ~]# rpm -ivh elasticsearch-7.6.0-x86_64.rpm
[root@elk-n1 ~]# mkdir -p /var/es-data
[root@elk-n1 ~]# chown -R elasticsearch:elasticsearch /var/es-data/
[root@elk-n1~]# chown -R elasticsearch:elasticsearch /var/log/elasticsearch/
[root@elk-n1 ~]# vim /etc/elasticsearch/elasticsearch.yml
cluster.name: my-elk
node.name: elk-n1
node.master: true
node.data: true
path.data: /var/es-data
path.logs: /var/log/elasticsearch
bootstrap.memory_lock: true
network.host: 0.0.0.0
http.port: 9200
cluster.initial_master_nodes: ["elk-n1"]
discovery.zen.ping.unicast.hosts: ["elk-n1", "elk-n2"]
http.cors.enabled: true
http.cors.allow-origin: "*"

在这里插入图片描述

[root@elk-n1 ~]# systemctl stop firewalld.service 
[root@elk-n1 ~]# setenforce 0
[root@elk-n1 ~]# vim /usr/lib/systemd/system/elasticsearch.service
LimitMEMLOCK=infinity
# Disable timeout logic and wait until process is stopped

在这里插入图片描述

[root@elk-n1 ~]# systemctl daemon-reload 
[root@elk-n1 ~]# systemctl start elasticsearch.service

在firefox中输入回环地址查询


2.第二台虚拟机配置群集结点

[root@localhost ~]# vim /etc/hostname
elk-n2.sevenwin.org
[root@localhost ~]# vim /etc/hosts
192.168.110.11 elk-n1 elk-n1.sevenwin.org
192.168.110.12 elk-n2 elk-n1.sevenwin.org
[root@localhost ~]# vim /etc/selinux/config      //关闭SELINUX，
SELINUX=permissive    
setenforce=0
[root@localhost ~]# vim /etc/security/limits.conf
*       soft    nofile  65536    //加到最后一行前
*       hard    nofile  131072
*       soft    nproc   4096
*       hard    nproc   8192
*       soft    memlock unlimited
*       hard    memlock unlimited
[root@localhost ~]# tar zxvf jdk-8u161-linux-x64.tar.gz 
[root@localhost ~]# mv jdk1.8.0_161/ /usr/local/jdk1.8.0
[root@localhost ~]# vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0
export CLASSPATH=./:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH
[root@localhost ~]# source /etc/profile
[root@localhost ~]# java -version
java version "1.8.0_161"
Java(TM) SE Runtime Environment (build 1.8.0_161-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.161-b12, mixed mode) 
[root@localhost ~]# reboot
[root@elk-n2 ~]# rpm -ivh elasticsearch-7.6.0-x86_64.rpm
[root@elk-n2 ~]# mkdir -p /var/es-data
[root@elk-n2 ~]# chown -R elasticsearch:elasticsearch /var/es-data/
[root@elk-n2 ~]# chown -R elasticsearch:elasticsearch /var/log/elasticsearch/
[root@elk-n2 ~]# vim /etc/elasticsearch/elasticsearch.yml
cluster.name: my-elk
node.name: elk-n2
node.master: true
node.data: true
path.data: /var/es-data
path.logs: /var/log/elasticsearch
bootstrap.memory_lock: true
network.host: 0.0.0.0
http.port: 9200
cluster.initial_master_nodes: ["elk-n1"]
discovery.zen.ping.unicast.hosts: ["elk-n1", "elk-n2"]
http.cors.enabled: true
http.cors.allow-origin: "*
[root@elk-n2 ~]# systemctl stop firewalld.service
[root@elk-n2 ~]# setenforce 0
[root@elk-n2 ~]# vim /usr/lib/systemd/system/elasticsearch.service
LimitMEMLOCK=infinity
# Disable timeout logic and wait until process is stopped
[root@elk-n2 ~]# systemctl daemon-reload
[root@elk-n2 ~]# systemctl start elasticsearch.service

与第一台机器的uuid号需一致
在这里插入图片描述
3.在第一台虚拟机安装Head插件

[root@elk-n1 ~]# yum -y install epel-relese
[root@elk-n1 ~]# tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2
[root@elk-n1 ~]# mv phantomjs-2.1.1-linux-x86_64 /usr/local/phantomjs
[root@elk-n1 ~]# ln -s /usr/local/phantomjs/bin/phantomjs /usr/bin
[root@elk-n1 ~]# phantomjs --version
2.1.1
[root@elk-n1 ~]# tar zxvf node-v13.8.0-linux-x64.tar.gz
[root@elk-n1 ~]# mv node-v13.8.0-linux-x64/ /usr/local/node13.8
[root@elk-n1 ~]# vim /etc/profile
export NODE_HOME=/usr/local/node13.8
export PATH=$PATH:$NODE_HOME/bin

在这里插入图片描述

[root@elk-n1 ~]# source /etc/profile
[root@elk-n1 ~]# yum -y install git
[root@elk-n1 ~]# git clone https://github.com/mobz/elasticsearch-head.git
[root@elk-n1 ~]# mv elasticsearch-head/ /opt
[root@elk-n1 ~]# cd /opt/elasticsearch-head/
[root@elk-n1 elasticsearch-head]# npm install -g grunt --registry=https://registry.npm.taobao.org
[root@elk-n1 elasticsearch-head]# npm config set registry=https://registry.npm.taobao.org
[root@elk-n1 elasticsearch-head]# npm install  //时间较长
[root@elk-n1 elasticsearch-head]# vim Gruntfile.js

在这里插入图片描述

[root@elk-n1 elasticsearch-head]# vim _site/app.js

在这里插入图片描述

[root@elk-n1 elasticsearch-head]# ./node_modules/grunt/bin/grunt server &                       //或者npm run start &

在这里插入图片描述

3.在第一台虚拟机安装配置logstash

[root@elk-n1 ~]# rpm -ivh logstash-7.6.0.rpm 
[root@elk-n1 ~]# ln -s /etc/logstash/ /usr/share/logstash/config
[root@elk-n1 ~]# vim /etc/logstash/logstash.yml 
path.config: /etc/logstash/conf.d/*.conf
[root@elk-n1 ~]# /usr/share/logstash/bin/logstash -t 'input{stdin{}}output{stdout{codec=>rubydebug}}' //检测
[root@elk-n1 ~]# chmod a+r /var/log/messages
[root@elk-n1 ~]# vim /etc/logstash/conf.d/system.conf

输入图中内容

[root@elk-n1 ~]# systemctl enable logstash.service 
Created symlink from /etc/systemd/system/multi-user.target.wants/logstash.service to /etc/systemd/system/logstash.service.
[root@elk-n1 ~]# systemctl enable logstash.service 
[root@elk-n1 ~]# systemctl start logstash.service   //如果没有出来系统配置文件使用下面的命令指定激活配置文件
[root@elk-n1 ~]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/system.conf

在这里插入图片描述

4.在第一台虚拟机安装kibana

[root@elk-n1 ~]# rpm -ivh kibana-7.6.0-x86_64.rpm
[root@elk-n1 ~]# vim /etc/kibana/kibana.yml
server.port: 5601    //第2行 
server.host: "0.0.0.0"   //第7行
elasticsearch.hosts: ["http://127.0.0.1:9200"]   //第28行
kibana.index: ".kibana"  //第37行
[root@elk-n1 ~]# systemctl enable kibana
Created symlink from /etc/systemd/system/multi-user.target.wants/kibana.service to /etc/systemd/system/kibana.service.
[root@elk-n1 ~]# systemctl start kibana

4.在第一台虚拟机安装filebeat

[root@elk-n1 ~]# rpm -ivh filebeat-7.6.0-x86_64.rpm
[root@elk-n1 ~]# vim /etc/filebeat/filebeat.yml
output.elasticsearch:
  # Array of hosts to connect to.
  hosts: ["127.0.0.1:9200"]     第150行
 
setup.kibana:
 host: "127.0.0.1:5601"       第123行

[root@elk-n1 ~]# filebeat modules enable elasticsearch
[root@elk-n1 ~]# filebeat setup   //时间长
[root@elk-n1 ~]# systemctl start filebeat.service

在这里插入图片描述
在这里插入图片描述

5.在第二台虚拟机安装配置apache与logstash

[root@elk-n2 ~]# yum -y install httpd
[root@elk-n2 ~]# systemctl enable httpd.service
Created symlink from /etc/systemd/system/multi-user.target.wants/httpd.service to /usr/lib/systemd/system/httpd.service.
[root@elk-n2 ~]# systemctl start httpd.service
[root@elk-n2 ~]# rpm -ivh logstash-7.6.0.rpm 
[root@elk-n2 ~]# ln -s /etc/logstash/ /usr/share/logstash/config
[root@elk-n2 ~]# vim /etc/logstash/logstash.yml
path.config: /etc/logstash/conf.d/*.conf
[root@elk-n2 ~]# vim /etc/logstash/conf.d/apache_access.conf

在这里插入图片描述

[root@elk-n2 ~]# vim /etc/logstash/conf.d/apache_error.conf

在这里插入图片描述

[root@elk-n2 ~]# chmod a+r /var/log/httpd/ -R
[root@elk-n2 ~]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/apache_access.conf 
[root@elk-n2 ~]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/apache_error.conf 
[root@elk-n2 ~]# systemctl enable logstash.service
[root@elk-n2 ~]# systemctl start logstash.service

在这里插入图片描述

6.在第一台虚拟机查看kibana

在这里插入图片描述

稻香蛙
关注
专栏目录
2024年Linux最新Linux--ELK日志分析系统_linux elk
m0_60147147的博客
04-30 982
shipper：日志收集者。lndexer：日志存储者。broker：日志HubSearch and Storage：允许对事件进行搜索和存储web interface：基于web的展示界面3.kibana的主要功能：Elasticsearch无缝之集成，整合数据，复杂数据分析，让更多团队成员收益，接口灵活，配置简单，可视化多数据源，简单数据导出。
小白实操ELK环境部署+监控nginx日志_两台机器搭建elk+nginx
2401_84240189的博客
04-20 1109
FileBeat搜集新增的日志，通过LogStash的5044端口上传日志；打开Kibana的配置文件/usr/local/kibana-6.2.3-linux-x86_64/config/kibana.yml，找到下面这行并修改：+本次部署应用的是filebeats(客户端)，logstash+elasticsearch+kibana(服务端)架构。进入Kibana的目录：cd /usr/local/kibana-6.2.3-linux-x86_64。查看启动日志：tail -f nohup.out。
Linux 日志管理 Rsyslog Loganalyzer
热门推荐
高飞的博客
03-23 31万+
Linux 日志管理 Rsyslog Loganalyzer
搭建日志服务器ELK
11-25
ELK这三个开源工具的关系，简单来说就是logstatsh 收集日志，存到elasticserach （存储，产生索引，搜索），再由kibana展现（view）。
搭建ELK日志服务器
lxy123_com的博客
12-14 1399
实验名称：搭建ELK日志分析服务器 实验要求：搭建ELK日志分析系统并进行验证 实验环境： 一台centos7操作系统虚拟机，CUP核心数2,4G运行内存，作为ELK主服务器； 一台cnetos7操作系统虚拟机，CUP核心数2,4G运行内存，作为ELK从服务器，实现热备； 一台centos7操作系统虚拟机，无硬性配置要求，作为客户端来进行验证 实验步骤： 1，准备实验环境 [root@localhost ~]# vim /etc/hostname #更改主机名称 elk1.server.org
在Linux环境下搭建Linux日志服务器
weixin_33918357的博客
08-06 215
为什么架设LINUX日志服务器： 众所周知，Linux是一个日志系统完善的操作系统。系统管理员在运行维护服务器的时候，少不了查看日志文件，当服务器出现错误，排错的时候更是少不了查看系统日志。当管理员管理的网络中有多台Linux服务器的时候，并且服务器比较分散，管理跑到各个服务器上查看系统日志甚是麻烦。那么，我们可以构建一台日志服务器，所有的Linux系统产生的日志，都发...
Linux日志服务器的搭建
qq_62311779的博客
04-14 7049
目录 一、 日志的简介及作用： 二、了解日志： （1）日志文件分类：/var/log/ （2）日志管理服务：管理和记录日志文件vim /etc/rsyslog.conf （3） 日志记录的日志级别： man rsyslog.conf （4）日志的异地备份： 三、日志服务器的搭建准备： （1）实验环境及设备： （2）实验拓扑图： （3）通过文件网络地址，使其pc（windows 10）和服务器（source centos 7 x 64）之间能够互相访问。 1、配置...
linux搭建日志服务器
最新发布
weixin_45631123的博客
05-12 453
建立一个基本的日志服务器可以使用ELK Stack（Elasticsearch、Logstash、Kibana）来实现。配置 Kibana，编辑 /etc/kibana/kibana.yml 文件，指定 Elasticsearch 的地址。在 Logstash 配置文件中配置输入插件，比如监听端口、文件路径等。配置输出插件，将处理后的日志发送到 Elasticsearch。配置过滤插件，对日志进行必要的处理和解析。步骤 2: 安装 Logstash。，并配置日志的输入、过滤和输出。
java 分布式 日志方案_ELK + kafka 分布式日志解决方案
weixin_33502400的博客
02-13 947
本文介绍使用ELK(elasticsearch、logstash、kibana) +　kafka来搭建一个日志系统。主要演示使用spring aop进行日志收集，然后通过kafka将日志发送给logstash，logstash再将日志写入elasticsearch，这样elasticsearch就有了日志数据了，最后，则使用kibana将存放在elasticsearch中的日志数据显示出来，并且可...
ELK日志分析系统搭建（Centos7）
qq_27532075的博客
03-18 632
前言 公司在18年因双十一订单量激增，导致应用服务器IO压力巨大，程序执行缓慢，运维效率低下(本地日志文件)。 经过深入研究搭建了基于Elasticsearch的日志平台，将IO操作从程序中剥离出来，日志首先发送至RabbitMQ，Logstash作为消费者接受并处理数据，最后转发到Elasticsearch进行存储，Kibana作为前台工具进行数据展示。，目前系统运行稳定，支持PB级数据秒级...
Linux安装搭建ELK集群
我玩的很开心的博客
06-18 1874
Linux安装ELK 一、ES简介 ES是一个基于RESTful web接口并且构建在Apache Lucene之上的开源分布式搜索引擎。 特点是：高可用，高扩展，是一种NOSQL的数据存储工具 二、ES安装前的准备(elk安装包版本要求一致) 下载安装包： elasticsearch-6.2.2.tar.gz elasticsearch-head-master.zip kibana-6.2.2-linux-x86_64.tar.gz logstash-6.2.2.tar.gz node-v8.9.1-l
Linux日志文件服务器搭建
不知道
05-17 1238
我们要做的是让一台主机当成【日志文件服务器】，用来记录另一台Linux主机的信息，这样之间进入一台主机就可以了。
Linux日志管理之搭建日志服务器
爱吃仡坨的Blog
08-27 3031
两台CentOS虚拟机网络正常两台机器可以ping通最后还缺一个屏幕前的你（搭建日志服务器）进行日志服务器的配置，使客户端把 任意类型的 高于和等于info级别的日志通过TCP的方式 发送到日志服务器中，并配置默认的日志采集格式为 日志时间 主机IP 日志记录目标 日志内容...
linux配置日志服务器-简单高效
崔崇鑫的博客，你linux/云运维工作中的百科全书。
10-23 4830
简单来说就是把若干台服务器的日志信息 统一写入到某一台里面，这样就不用一台一台登陆查看日志了 根据需求有2种方式，一种是服务器数量少比如就一两台服务器需要配置到中央服务器中，则可以用第一种较为简单的方式。 如果较多服务器需要写到中央服务器，则需要使用第二种方式，多几个步骤。 第一种方式： 如：我现在要把A服务器的日志文件配置到中央日志服务器中，则先在A服务器中指定中央服务器ip：vi /etc...
【日志审计】基于ELK搭建日志服务
qdsec的博客
06-13 1248
解决业务日志无监控、无审计，若出现攻击行为无感知问题。
Linux集中日志服务器rsyslog
kongxx的专栏
06-28 1万+
Linux上通常可以通过rsyslog来实现系统日志的集中管理，这种情况下通常会有一个日志服务器，然后每个机器配置自己日志通过rsyslog来写到远程的日志服务器上。这里假定有两台服务器，一台作为系统日志的服务器（比如机器名logmaster），另一台作为日志的客户端（比如机器名logclient）日志服务器配置首先修改log master机器上的/etc/rsyslog.conf文件，将其中下面四
关于linux的服务器搭建,关于搭建linux日志服务器
weixin_31050349的博客
05-12 285
linux日志服务器作为服务器操作系统，linux下的系统日志对于管理员来说相当重要，可通过日志的查看跟踪系统运行状态。日志存放位置在 /var/log目录里，主要有 dmeg,maillog ,messages,secure等几个文件。dmsg: 主要记录内核引导信息。messages: 记录一些说明性信息和系统错误日志maillog： 记录邮件信息secure ： 记录关于安全，认证等级别...
ELK——日志处理界的瑞士军刀
hy199707的博客
04-11 2497
在大数据时代，日志管理与分析已经成为运维、开发和业务优化中不可或缺的一环。而ELK ，即Elasticsearch、Logstash、Kibana三者组成的开源解决方案，以其强大的实时数据分析能力，在业界广受好评，被誉为“日志处理界的瑞士军刀”。
linux安全--日志服务器建立实验
m0_74313947的博客
02-28 853
实验以上图为网络拓扑图结构。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值