日志——efk——2——安装及配置群集

已于 2022-02-14 15:38:19 修改
阅读量359 收藏 1
点赞数
分类专栏： 架构 文章标签： elasticsearch
于 2020-08-02 22:09:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45373345/article/details/107749634
版权

ELK日志收集

Elasticsearch: 数据库，存储数据 java
logstash: 日志收集，过滤数据 java
kibana: 分析，过滤，展示 java
filebeat: 收集日志，传输到ES或logstash go

filebeat官方文档：https://www.elastic.co/guide/en/beats/filebeat/current/index.html

所需环境：

efk（内存4G）192.168.1.128
ceshiji（可有可无）192.168.1.129

先提前同步时间：

ntpdate time1.aliyun.com		#同步阿里云时间

准备所需要的软件：

下载地址：https://mirrors.tuna.tsinghua.edu.cn/elasticstack/6.x/yum/6.6.0/ #推荐下载到本地后上传
elasticsearch-6.6.0.rpm
filebeat-6.6.0-x86_64.rpm
kibana-6.6.0-x86_64.rpm
logstash-6.6.0.rpm

[root@efk ~]# mkdir /data/soft -p
[root@efk ~]# cd /data/soft
复制群集所需rpm包到/data/soft目录下
[root@efk soft]# ls
elasticsearch-6.6.0.rpm  filebeat-6.6.0-x86_64.rpm  kibana-6.6.0-x86_64.rpm  logstash-6.6.0.rpm

一、安装es主机：192.168.1.128

1、安装elasticsearch:

前提：安装jdk-1.8.0或以上版本——跳转安装jdk-1.8.0

[root@efk ~]# cd /data/soft/
[root@efk soft]# rpm -ivh elasticsearch-6.6.0.rpm

2、修改配置文件：

[root@efk soft]# vim /etc/elasticsearch/elasticsearch.yml
node.name: node-1						
path.data: /data/elasticsearch			
path.logs: /var/log/elasticsearch		
bootstrap.memory_lock: true				
network.host: 192.168.1.128,127.0.0.1	
http.port: 9200

3、创建数据目录，并修改权限

[root@efk soft]# mkdir -p /data/elasticsearch 
[root@efk soft]# chown -R elasticsearch.elasticsearch /data/elasticsearch/

4、分配锁定内存:

[root@efk soft]# vim /etc/elasticsearch/jvm.options
-Xms1g		#分配最小内存	
-Xmx1g		#分配最大内存,官方推荐为物理内存的一半，但最大为32G

5、修改锁定内存后，无法重启，解决方法如下：

[root@efk soft]# systemctl edit elasticsearch
#添加：
[Service]
LimitMEMLOCK=infinity

(F2)或(ctrl+x)保存退出——>y——>Enter

[root@efk soft]# systemctl daemon-reload
[root@efk soft]# systemctl restart elasticsearch

[root@efk soft]# netstat -anpt | grep 9200
tcp6       0      0 192.168.1.128:9200      :::*                    LISTEN      3875/java           
tcp6       0      0 127.0.0.1:9200          :::*                    LISTEN      3875/java

二、在es主机上安装kibana

1、安装kibana

[root@efk soft]# rpm -ivh kibana-6.6.0-x86_64.rpm

2、修改配置文件

[root@efk soft]# vim /etc/kibana/kibana.yml
server.port: 5601
server.host: "192.168.1.128"
server.name: "efk" 	#自己所在主机的主机名
elasticsearch.hosts: ["http://192.168.1.128:9200"]   #es服务器的ip，便于接收日志数据

3、启动kibana

[root@efk soft]# systemctl start kibana

[root@efk soft]# netstat -anpt | grep 5601
tcp        0      0 192.168.1.128:5601      0.0.0.0:*               LISTEN      4085/node

三、在es主机上安装filebeat

1、安装filebeat

[root@efk soft]# rpm -ivh filebeat-6.6.0-x86_64.rpm

2、修改配置文件

[root@efk soft]# vim /etc/filebeat/filebeat.yml
#修改
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/nginx/access.log

output.elasticsearch:
  hosts: ["192.168.1.128:9200"]

3、启动filebeat

[root@efk soft]# systemctl start filebeat

验证启动是否成功使用命令：systemctl status filebeat

四、在es主机安装nginx、httpd-tools

1、配置yum源，安装nginx、httpd-tools

[root@efk soft]# wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo		#配置aliyunyum源
[root@efk soft]# yum -y install nginx httpd-tools		#安装nginx、httpd-tools

2、启动nginx

[root@efk soft]# systemctl start nginx

3、使用ab压力测试工具测试访问

[root@efk soft]# ab -n 100 -c 20 http://192.168.1.128/
[root@efk soft]# cat /var/log/nginx/access.log | wc -l
100

五、！！！重点提示！！！下边实验过程中如有在浏览器Elasticsearch中刷新不出数据，好好检查你的filebeat配置文件（重点：语法错误！小心空格！）

4、在es浏览器查看filebeat索引和数据

在这里插入图片描述

5、在kibana添加索引

management——Index Patterns——create index pattern——Discover——右上角——选择today
在这里插入图片描述
在这里插入图片描述
注意：这里先点create index pattern在执行下面的操作
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

6、修改nginx的日志格式为json

[root@efk soft]# vim /etc/nginx/nginx.conf
添加在http {} 内：
    log_format log_json '{ "@timestamp": "$time_local", '
                '"remote_addr": "$remote_addr", '
                '"referer": "$http_referer", '
                '"request": "$request", '
                '"status": $status, '
                '"bytes": $body_bytes_sent, '
                '"agent": "$http_user_agent", '
                '"x_forwarded": "$http_x_forwarded_for", '
                '"up_addr": "$upstream_addr",'
                '"up_host": "$upstream_http_host",'
                '"up_resp_time": "$upstream_response_time",'
                '"request_time": "$request_time"'
                ' }';

    access_log  /var/log/nginx/access.log  log_json;

[root@efk soft]# systemctl restart nginx

7、修改filebeat配置文件

[root@efk soft]# vim /etc/filebeat/filebeat.yml
#修改
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/nginx/access.log
  json.keys_under_root: true
  json.overwrite_keys: true

output.elasticsearch:
  hosts: ["192.168.1.128:9200"]
  index: "nginx-%{[beat.version]}-%{+yyyy.MM.dd}"
setup.template.name: "nginx"
setup.template.patten: "nginx-*"
setup.template.enabled: false
setup.template.overwrite: true

[root@efk soft]# systemctl restart filebeat

清除之前的记录：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

[root@efk soft]# vim /var/log/nginx/access.log 			#清空日志
[root@efk soft]# systemctl restart nginx
[root@efk soft]# ab -n 100 -c 20 http://192.168.1.128/			#ab测试访问，生成json格式日志
[root@efk soft]# ab -n 100 -c 20 http://192.168.1.128/			#ab测试访问，生成json格式日志
[root@efk soft]# ab -n 100 -c 20 http://192.168.1.128/			#ab测试访问，生成json格式日志
[root@efk soft]# ab -n 100 -c 20 http://192.168.1.128/			#ab测试访问，生成json格式日志


[root@ceshiji ~]# wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo		#安装aliyun扩展源
[root@ceshiji ~]# yum -y install httpd-tools
[root@ceshiji ~]# ab -n 100 -c 20 http://192.168.1.128/			#ab测试访问，生成json格式日志
[root@ceshiji ~]# ab -n 100 -c 20 http://192.168.1.128/			#ab测试访问，生成json格式日志

查看验证索引日志
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

8、配置access.log和error.log分开

[root@efk soft]# vim /etc/filebeat/filebeat.yml
修改为：
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/nginx/access.log
  json.keys_under_root: true
  json.overwrite_keys: true
  tags: ["access"]
  
- type: log
  enabled: true
  paths:
    - /var/log/nginx/error.log
  tags: ["error"]

output.elasticsearch:
  hosts: ["192.168.1.128:9200"]
  #index: "nginx-%{[beat.version]}-%{+yyyy.MM}"
  indices:
   - index: "nginx-access-%{[beat.version]}-%{+yyyy.MM}"
     when.contains:
       tags: "access"
   - index: "nginx-error-%{[beat.version]}-%{+yyyy.MM}"
     when.contains:
       tags: "error"

setup.template.name: "nginx"
setup.template.patten: "nginx-*"
setup.template.enabled: false
setup.template.overwrite: true

[root@efk soft]# systemctl restart filebeat			#重启服务

清除之前的记录：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

[root@efk soft]# vim /var/log/nginx/access.log 			#清空日志
[root@efk soft]# systemctl restart nginx
[root@efk soft]# ab -n 100 -c 20 http://192.168.1.128/			#ab测试访问，生成json格式日志
[root@efk soft]# ab -n 100 -c 20 http://192.168.1.128/			#ab测试访问，生成json格式日志
[root@efk soft]# ab -n 100 -c 20 http://192.168.1.128/			#ab测试访问，生成json格式日志
[root@efk soft]# vim /etc/nginx/nginx.conf			#制造错误日志
ttp {……}
[root@efk soft]# systemctl restart nginx
Job for nginx.service failed because the control process exited with error code. See "systemctl status nginx.service" and "journalctl -xe" for details.
[root@efk soft]# systemctl restart nginx
Job for nginx.service failed because the control process exited with error code. See "systemctl status nginx.service" and "journalctl -xe" for details.
[root@efk soft]# systemctl restart nginx
Job for nginx.service failed because the control process exited with error code. See "systemctl status nginx.service" and "journalctl -xe" for details.
[root@efk soft]# vim /etc/nginx/nginx.conf			#更改回来
http {……}
[root@efk soft]# systemctl restart nginx
[root@efk soft]# netstat -anpt | grep nginx
tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      43975/nginx: master 
tcp6       0      0 :::80                   :::*                    LISTEN      43975/nginx: master

查看access、error日志
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

查看access日志

在这里插入图片描述

查看error日志

在这里插入图片描述
|
|
|
|
|
|
|
|
|
↓
如若想继续深入了解efk连接跳转——efk——3——filebeat+redis+logstash+es+kibana架构

KFC质检员
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【EFK】基于K8S构建EFK+logstash+kafka日志平台(1)，大数据开发面试回忆录
2401_84167072的博客
04-15 940
Elasticsearch 是一个分布式的免费开源搜索和分析引擎，适用于包括文本、数字、地理空间、结构化和非结构化数据等在内的所有类型的数据。Elasticsearch 在 Apache Lucene 的基础上开发而成，由 Elasticsearch N.V.（即现在的 Elastic）于 2010 年首次发布。Elasticsearch 以其简单的 REST 风格 API、分布式特性、速度和可扩展性而闻名，是 Elastic Stack 的核心组件；
容器化安装环境EFK搭建
Coder_Boy_的博客
07-29 1286
在Kibana中配置索引[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接配置筛选字段 这里按照时间创建成功了查看最终索引数据模拟手动添加日志 查看控制台实时采集了我们到Kibana里查询下 可以看到最终的日志信息可以通过搜索或者日期筛选，字段筛选，等等各种操作查看你需要的日志信息。或者可以在 日志目录下 查看日志。
日志收集系统EFK安装及配置
老码农的心路历程
05-16 1650
目的 服务器运维系统日志监控是非常重要的工作.,目前常见的有EFK日志收集系统,实际上是3个系统组成,elasticsearch + filebeat+kibana.这三个软件在 elastic.co上都能下载.目前目前现在这个时期下最新的就可以了.具体下载过程我们就不写了,下载的文件版本如下: # 名称 备注 1 elasticsearch elasticsearch-7.12.1-linux-x86_64.tar.gz 7.12.1版本,这是三个..
【云原生】【k8s】Kubernetes+EFK构建日志分析安装部署
2302_77582029的博客
08-16 3188
【云原生】【k8s】Kubernetes+EFK构建日志分析安装部署
使用docker部署EFK-7.8版本详细教程
W1124824402的博客
03-30 759
使用docker部署EFK7.8版本，部署简单详细。
EFK日志系统安装配置文档
08-01
ELK、EFK安装及配置文档，详细的阐述了EFK架构，其中包括了kafka、elasticsearch、elasticsearch-head、nodejs、kibana、logstash、filebeat等的安装配置。
efk7.13搜集java日志-filebeat配置详解
06-29
efk7.13搜集java日志—filebeat配置详解笔记总结
EFK安装所需要的全部包.rar
11-02
EFK是日志收集、处理和可视化的开源解决方案，由Elasticsearch、Fluentd和Kibana三个组件组成。Elasticsearch是一个分布式搜索引擎，用于存储、搜索和分析大量数据；Fluentd作为数据收集器，负责从各种来源摄取日志...
EFK+kafka+head日志分析集群部署.rar
07-04
日志分析集群，在本地centos7虚拟机搭建的Es+firebeat+logstash+kibana+kafka+head的完整集群部署文档，很详细，通常的EFK日志分析，加上kafka的消息队列，可以处理PB级别的日志内容。
k8s搭建EFK日志中心需要的部署文件
06-10
k8s搭建EFK日志中心需要的部署文件，适用于搭建elasticsearch + fluentd + kibana组成的日志分析平台。适合新手小白直接拿来执行使用的k8s部署脚本文件。因为镜像文件较大，所以需要对应镜像文件的请私聊。此种方案...
filebeat-6.6.0-linux-x86_64.tar.gz
04-06
Filebeat是本地文件的日志数据采集器，可监控日志目录或特定日志文件（tail file），并将它们转发给Elasticsearch或Logstatsh进行索引、kafka等。带有内部模块（auditd，Apache，Nginx，System和MySQL），可通过一个指定命令来简化通用日志格式的收集，解析和可视化。 作者：kang少年 链接：https://www.jianshu.com/p/0a5acf831409 来源：简书 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
filebeat-6.6.0-linux-x86_64.tar.gz filebeat-6.6.0下载
07-01
filebeat-6.6.0下载。Filebeat相对轻量，占用服务器资源小，故一般选用Filebeat来进行日志收集，代替logstash。（文件全称：filebeat-6.6.0-linux-x86_64.tar.gz）
filebeat-6.6.1-linux-x86_64.tar.gz
02-22
Filebeat 收集日志 tar -zxvf filebeat-6.6.1-linux-x86_64.tar.gz -C /usr/local/elk cd /usr/local/elk/ mv filebeat-6.6.1-linux-x86_64 filebeat-6.6.1 cd filebeat-6.6.1 ## 修改配置文件 vim filebeat.yml # 修改数据来源,配置为nginx的日志目录，包括access.log及error.log filebeat.inputs: - type:log enabled: true paths: - /var/log/nginx/*.log # kibana相关设置,配置为kibana服务器地址 setup.kibana: host: "192.168.43.146:5601" # logstash的host地址及端口 output.logstash: hosts: ["192.168.43.146:5044"] ## 运行filebeat -e 在终端显示一些处理过程信息 ./filebeat -e -c filebeat.yml &
K8s部署轻量级日志收集系统EFK（elasticsearch + filebeat + kibana）
最新发布
ζั͡山 ั͡有扶苏 ั͡✾的博客
10-11 2389
Pod 的选择基于标签。这个pod一次运行了两个容器，分别是kibanah和elasticsearch，并且把elasticsearch容器中的/usr/share/elasticsearch/data目录下的内容，挂载到了es-pv-claim下，我们可以在第三步中的NFS服务器共享目录中找到挂载的数据。点击侧边栏，选择discover，就能看到Filebeat收集到的容器日志，可以按照自己的需求进行日志筛选。的 Pod，这些 Pod 的端口 9200 和 9300 将被公开，并且可以通过相应的。
十分钟搭建一个EFK集群
孤独，平庸，落魄
05-30 2329
快速部署搭建ELKELK 介绍环境信息架构二进制部署一，系统初始化。二，elasticsearch安装(所有节点)三，filebeat安装使用 ELK 介绍 ELK 是三个开源软件的缩写，提供一套完整的企业级日志平台解决方案。 分别是： • Elasticsearch：搜索、分析和存储数据 • Logstash ：采集日志、格式化、过滤，最后将数据推送到Elasticsearch存储 • Kibana：数据可视化 • Beats ：集合了多种单一用途数据采集器，用于实现从边缘机器向 Logstash 和 E
EFK安装指南
lavendYu的博客
05-11 1706
1.官网下载安装包,官网地址:https://www.elastic.co/downloads本次使用版本为elasticsearch-6.1.1.tar.gzkibana-6.1.1-linux-x86_64.tar.gz2.环境准备:Java环境：JDK1.8（若未安装，需先安装）3.安装elasticsearch-6.1.1.tar.gza.tar -zxvf elasticsearch-6...
k8s--基础--24.3--efk--安装efk组件
zhou920786312的博客
08-16 1339
通过上面几个步骤，我们已经在k8s集群成功部署了elasticsearch，fluentd，kibana内容3个Elasticsearch Pod一个Kibana Pod一组作为DaemonSet部署的Fluentd Pod。
搭建EFK(Elasticsearch+Filebeat+Kibana)日志收集系统[windows]
文若书生的专栏
04-11 3382
EFK简介Elasticsearch 是一个实时的、分布式的可扩展的搜索引擎，允许进行全文、结构化搜索，它通常用于索引和搜索大量日志数据，也可用于搜索许多不同类型的文档。FileBeats 是数据采集的得力工具。将 Beats 和您的容器一起置于服务器上，或者将 Beats 作为函数加以部署，然后便可在 Elastisearch 中集中处理数据。如果需要更加强大的处理性能，Beats 还能将数据输送到 Logstash 进行转换和解析。
容器化安装环境EFK文档
07-29
容器化安装环境EFK( Elasticsearch + Fluentd + Kibana)文档提供了一种简单而高效的方式来安装和启动EFK环境。在Docker中安装并启动Elasticsearch之前，需要进行一些前置配置，以确保环境的顺利运行。本文将详细介绍...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值