一文带你了解ELK部署+多日志监控

如果系统出问题 研发第一个找的就是运维,问你要各种日志,以前上服务器拉日志,太俗。

今天换个新姿势 走上自动化运维的重要一步日志监控.

ELK 是(Elasticsearch+Logstash+Kibana 外+Filebeat)

工作机制 :F (filebeat)负责日志的收集(input)-->然后把日志吐给L(logstash)(output)-->让后给ES(elasticsearch)-->K(kibana)负责展示

这里多说一点 Logstash 和 Filebeat 两弟兄其实他们两个都可以完成input日志和output日志,但是L运行机制比较大占用内存大,擅长于文件处理所以收集不是他的强项,F架构原因更加轻量化,灵活收集日志是把好手打个比喻:

垃圾车也能直接让你把垃圾扔车上带走,但他动静大,环卫工人动静小,更敏捷。

好的前言结束上干货

自然是离线部署最合适不管你是否有网络通吃O(∩_∩)O哈哈~

下载安装包:

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.2.0-linux-x86_64.tar.gz
wget https://artifacts.elastic.co/downloads/logstash/logstash-7.2.0.tar.gz
wget https://artifacts.elastic.co/downloads/kibana/kibana-7.2.0-linux-x86_64.tar.gz
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.2.0-linux-x86_64.tar.gz

解压安装包:

tar -xzf elasticsearch-7.2.0-linux-x86_64.tar.gz
tar -xzf logstash-7.2.0.tar.gz
tar -xzf kibana-7.2.0-linux-x86_64.tar.gz
tar -xzf filebeat-7.2.0-linux-x86_64.tar.gz

创建用户

启动elasticsearch和kibana 要求以非root用户启动

groupadd elk

useradd elk -g elk

chown -R elk:elk elasticsearch-7.2.0

chown -R elk:elk kibana-7.2.0-linux-x86_64

部署elasticsearch

创建elasticsearch的数据目录和授权

mkdir -pv /data/elk/{data,logs}

chown -R elk:elk /data/elk/

进入elasticsearch.yml所在目录

编辑配置文件  

然后保存退出

使用刚才建立的用户登录启动ES

su - elk

cd elasticsearch-7.2.0

nohup bin/elasticsearch &am

  • 0
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ELK(ElasticsearchLogstashKibana)是一个开源的日志管理和分析平台,能够帮助企业收集、存储、搜索、分析和可视化各种类型的日志数据。而Kafka是一个高吞吐量的分布式消息队列系统,可以用来收集和传输大规模的日志数据。Reyslog是一个开源的日志收集器,可以帮助企业从各种不同的数据源中收集日志数据。Filebeat是一个轻量级的日志收集工具,可以帮助企业从各种不同的文件中收集日志数据。 以下是ELK+kafka+reyslog+filebeat企业级部署的步骤: 1. 安装和配置ElasticsearchLogstashKibana,并确保它们能够正常运行。可以使用docker-compose等工具来简化部署过程。 2. 安装和配置Kafka,并创建一个主题(topic)用于存储日志数据。 3. 安装和配置Reyslog,并将其配置为从各种不同的数据源中收集日志数据,并将其发送到Kafka主题(topic)中。 4. 安装和配置Filebeat,并将其配置为从各种不同的文件中收集日志数据,并将其发送到Kafka主题(topic)中。 5. 在Kibana中创建一个索引(index),并定义一个包含所有必需字段的映射(mapping)。然后,使用Logstash来将从Kafka主题(topic)中接收到的日志数据转换为适合索引(index)的格式,并将其存储在Elasticsearch中。 6. 在Kibana中创建一个仪表板(dashboard),并使用其可视化功能来呈现和分析日志数据。可以使用各种不同的可视化插件来创建自定义可视化效果。 7. 部署整个系统,并定期监控其性能和可用性,以确保其正常运行。 总之,ELK+kafka+reyslog+filebeat企业级部署需要进行一系列复杂的配置和设置,需要具备一定的技术知识和实践经验。建议企业可以考虑使用专业的日志管理和分析平台,如Splunk等,以简化部署和管理过程。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值