SpringCloud + ELK +Filebeat + zipkin实现日志可视化链路追踪(一)

在微服务架构中,不同的服务模块一般会部署多个节点,日志散落在多个节点的日志文件中。一旦出现问题,我们就需要登录不同的服务节点分别查看日志,非常繁琐。所以在微服务架构中,我们是需要建立集中式日志收集系统,将所有节点上的日志统一收集,管理,访问。

现在目前主流的分布式日志解决方案还是基于ELK(ElasticSearch、Logstash、Kibana),今天我们就动手搭建一个单机版的ELK日志收集系统并将我们的日志文件集成进去。

​ElasticSearch 安装配置

  • 下载

https://www.elastic.co/cn/downloads/elasticsearch
  • 解压缩

tar -zxvf elasticsearch-7.17.5-linux-x86_64.tar.gz
  • 创建ElasticSearch启动用户

ElasticSearch默认不允许使用root用户启动,所以我们需要创建一个elastic用户用于启动ElasticSearch,并授予用户对应权限。

useradd elasticsearch
chown -R elasticsearch:elasticsearch /usr/local/ELK/
  • 修改es配置

路径为:

/usr/local/ELK/elasticsearch-7.17.5/config/elasticsearch.yml
大部分配置只要取消掉原有配置前的注释就好
​
cluster.name: my-application 
node.name: node-1
path.data: /path/to/data
path.logs: /path/to/logs
network.host: 0.0.0.0
http.port: 9200
cluster.initial_master_nodes: ["node-1"]

如果服务器性能不好可以修改jvm参数 默认是4g

路径为:

/usr/local/ELK/elasticsearch-7.17.5/config/jvm.option
-Xms512m
-Xmx512m

修改系统配置文件

vim /etc/sysctl.conf
vm.max_map_count = 655360
​
vim /etc/security/limits.conf
*     soft    memlock   unlimited
*     hard    memlock   unlimited
*     hard    nofile    65536
*     soft    nofile    65536
​
sysctl -p

修改完成后使用sysctl -p重新加载配置.

  • 切换elastic用户并启动ElasticSearch

su elasticsearch
./bin/elasticsearch -d

-d为后台启动

如果启动因为jdk报错,可以修改/bin目录下的elasticsearch-env中关于jdk脚本代码

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
很抱歉,我不太清楚您想要哪方面的代码,因为ELK+kafka+reyslog+filebeat是一个比较复杂的系统架构,它们涉及到不同的组件和配置。以下是一个简单的流程示例,仅供参考: 1. 安装配置Kafka Kafka是一个分布式消息队列,可用于实现日志传输。可从官方网站下载Kafka的二进制包,然后按照官方文档进行配置。 2. 安装配置Reyslog Reyslog是一个开源的日志收集器,可用于将日志发送到Kafka。可从官方网站下载Reyslog的二进制包,然后按照官方文档进行配置。 3. 安装配置Filebeat Filebeat是一个轻量级的日志采集器,可用于将本地日志文件发送到Reyslog。可从官方网站下载Filebeat的二进制包,然后按照官方文档进行配置。 4. 安装配置ELK ELK是一个开源的日志分析平台,由Elasticsearch、Logstash和Kibana三个组件组成。可从官方网站下载ELK的二进制包,然后按照官方文档进行配置。 5. 配置Kafka输出插件 在Logstash中配置Kafka输出插件,以将从Reyslog接收到的日志发送到Kafka。 6. 配置Elasticsearch输入插件 在Logstash中配置Elasticsearch输入插件,以将从Kafka接收到的日志发送到Elasticsearch中进行存储和索引。 7. 配置Kibana 在Kibana中配置索引和仪表板,以可视化和分析存储在Elasticsearch中的日志数据。 以上是一个简单的ELK+kafka+reyslog+filebeat的流程示例,具体的代码实现需要根据实际情况进行调整和优化。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值