一款比ELK更强大，更好用的日志收集分析告警系统

置顶 已于 2025-08-19 10:14:13 修改
阅读量3.5k 收藏 23
点赞数 107
CC 4.0 BY-SA版权
分类专栏： 日志分析 Elasticsearch go 文章标签： 运维 搜索引擎 golang 机器学习
于 2024-08-16 15:33:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jc2255/article/details/141260230
介绍

日志收集智能分析系统-LCA

  • 快速部署：部署丝滑，管理方便，有web后台管理。
  • 高效的数据采集：LCA 支持多种数据源，无论是服务器日志、应用日志还是网络设备日志，都能一键配置，快速部署。
  • 灵活的数据处理：比起传统的elk更加灵活，而且还集成了日志分析和告警，内置强大的数据处理功能，包括过滤、聚合、关联等，让您轻松应对复杂的数据处理需求，除了按配置好的目录收集日志还提供了api接口实时调用,吞吐率高。
  • 直观的数据可视化：通过丰富的图表和仪表板，LCA 让数据分析变得更加简单直观，让您一目了然地了解业务状况。
  • 智能告警机制：实时监控关键指标，一旦发现异常立即触发告警，确保问题第一时间得到解决。
  • 安全可靠：web管理后台访问控制策略，保障您的数据安全无忧。

LCA日志系统2.0重磅来袭

LCA日志系统官网 下载程序

软件架构

输入图片说明

 通过在运维平台上配置日志收集项，或者通过api接口调用推送日志，logagent从etcd中获取要收集的日志信息从业务服务器读取日志信息，发往kafka，logtransfer负责从kafka读取日志，写入到Elasticsearch中，通过Kibana进行日志检索。loganalysis将安装规则分析日志，将告警，报错日志信息推给企业微信。

  1. 可实时收集常用的软件的日志，比如nginx，项目系统，当每次添加一个需要收集的日志文件时可以实时进行收集，还可以实时收集指定目录下所有按时间切分的日志例如：/logs/2024-07-01.log,/admin/lum-2024-07-02.log
  2. 可以通过api调用主动推送日志到日志分析系统（吞吐率高）
  3. 可以对收集的日志进行分析，智能分析，然后按规则告警（nginx状态不是200，php文件报错）
  4. 实现如阿里sls一般查询日志
安装教程

视频教程 一款比ELK更强大，更好用的日志收集分析告警系统_哔哩哔哩_bilibili

  1. etcd 

    cd docker/etcd 

docker-compose up -d

  2. MySQL 

    cd docker/mysql 

docker-compose up -d

root 密码：max2024

导入 logmanager.sql

  3. Redis 

    cd docker/redis 

docker-compose up -d

  4. Elasticsearch

    创建映射目录 
mkdir -p /data/backups/es 
给足够的权限 如果不知道什么权限就 chmod 777 es 
mkdir -p /data/es01/data 给足够的权限 如果不知道什么权限就 chmod 777 data 
mkdir -p /data/es02/data 给足够的权限 如果不知道什么权限就 chmod 777 data 
记得修改 docker-compose.yaml 里面的ES_JAVA_OPTS=-Xms256m -Xmx256m，ELASTICSEARCH_HOSTS=http://172.16.0.70:9200 按照自己实际情况 
cd docker/elasticsearch 
docker-compose up -d

  5. Kafka 

    cd docker/kafka 

docker-compose up -d
启动教程

 1.去官网下载程序

2.修改配置文件

  路径：/opt/lca_sys/manifest/config/config.yaml

server:
  address:     ":8808"
  serverRoot: "resource/public"
  dumpRouterMap: false
  routeOverWrite: true
  openapiPath: "/api.json"
  swaggerPath: "/swagger"
  NameToUriType: 3
  maxHeaderBytes: "20KB"
  clientMaxBodySize: "50MB"
  # Logging配置
  logPath: "resource/log/server"                 # 日志文件存储目录路径，建议使用绝对路径。默认为空，表示关闭
  logStdout: true               # 日志是否输出到终端。默认为true
  errorStack: true               # 当Server捕获到异常时是否记录堆栈信息到日志中。默认为true
  errorLogEnabled: true               # 是否记录异常日志信息到日志中。默认为true
  errorLogPattern: "error-{Ymd}.log"  # 异常错误日志文件格式。默认为"error-{Ymd}.log"
  accessLogEnabled: true              # 是否记录访问日志。默认为false
  accessLogPattern: "access-{Ymd}.log" # 访问日志文件格式。默认为"access-{Ymd}.log"

logger:
  path: "resource/log/run"
  file: "{Y-m-d}.log"
  level: "all"
  stdout: true

# Database.
database:
  logger:
    level:   "all"
    stdout:  true
    Path: "resource/log/sql"

  default:
    link:   "mysql:root:max2024@tcp(172.16.0.70:3306)/lca?charset=utf8mb4&parseTime=true&loc=Local"
    debug:  true
    charset: "utf8mb4" #数据库编码
    dryRun: false #空跑
    maxIdle: 10 #连接池最大闲置的连接数
    maxOpen: 10 #连接池最大打开的连接数
    maxLifetime: "30s" #(单位秒)连接对象可重复使用的时间长度

gfToken:
  cacheKey: "gfToken:"
  timeOut: 10800
  maxRefresh: 5400
  multiLogin: true
  encryptKey: "49c54195e750b04e74a8429b17896586"
  cacheModel: "redis"  #缓存模式 memory OR redis OR dist
  distPath: "./resource/data/distTokenDb" #使用磁盘缓存时配置数据缓存的目录
  excludePaths:
    - "/api/v1/system/login"


# Redis 配置示例
redis:
  # 单实例配置
  default:
    address: 172.16.0.70:6379
    db: 14
    idleTimeout: "60s" #连接最大空闲时间，使用时间字符串例如30s/1m/1d
    maxConnLifetime: "90s" #连接最长存活时间，使用时间字符串例如30s/1m/1d
    waitTimeout: "60s" #等待连接池连接的超时时间，使用时间字符串例如30s/1m/1d
    dialTimeout: "30s" #TCP连接的超时时间，使用时间字符串例如30s/1m/1d
    readTimeout: "30s" #TCP的Read操作超时时间，使用时间字符串例如30s/1m/1d
    writeTimeout: "30s" #TCP的Write操作超时时间，使用时间字符串例如30s/1m/1d
    maxActive: 100
    pass: "max2024"

system:
  notCheckAuthAdminIds: [1,2,31]  #无需验证后台权限的用户id
  dataDir: "./resource/data"
  cache:
    model: "redis"  #缓存模式 memory OR redis OR dist
    distPath: "./resource/data/distCacheDb" #使用磁盘缓存时配置数据缓存的目录
    prefix: "gFastV3Cache:" #缓存前缀

#casbin配置
casbin:
  modelFile: "./resource/casbin/rbac_model.conf"
  policyFile: "./resource/casbin/rbac_policy.csv"


# CLI.
gfcli:
  gen:
    dao:
      - link:            "mysql:root:max2024@tcp(172.16.0.70:3306)/lca"
        tables:          "es_log_topic"
        removePrefix:    "gf_"
        descriptionTag:  true
        noModelComment:  true
        path: "./internal/app/system"

# ETCD
etcd:
  endpoints:
    - "172.16.0.70:2379"
  dialTimeout: "10s"

# Elasticsearch 配置
elasticsearch:
  endpoints: "http://172.16.0.70:9200"
  timeout: "10s"

#授权码
auth:
  order_no: "2025072099555055"

按照自己的情况修改好，database的配置，redis配置，etcd配置，elasticsearch配置,授权码

3.导入数据库

路径：/opt/lca_sys/resource/data/lca.sql

4.授权码

获取授权码

就是订单编号

5.到目录下启动程序

nohup ./lca &

可以先直接 ./lca 看是否有报错

6.配置Nginx

server {
    listen 80;
   
    server_name testlca.c4eee.cn;


    access_log /www/wwwlogs/lca_access_nginx.log;
    error_log /www/wwwlogs/lca_access_error_nginx.log;

   # 静态资源根目录（指向 dist 文件夹）
    root /opt/lca_sys/dist;
    index index.html;

    location / {
        try_files $uri $uri/ /index.html; # 支持 Vue Router 的 history 模式
    }

    # 处理静态资源（JS/CSS/图片等）
    location /assets/ {
        alias /opt/lca_sys/dist/assets/;
        expires 1y;
        add_header Cache-Control "public";
    }
  
   location /api {
      proxy_pass http://127.0.0.1:8808; #后端接口地址
      proxy_set_header Host $proxy_host;
      proxy_set_header X-Real-IP $remote_addr;
      proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
      proxy_set_header Upgrade $http_upgrade;
      proxy_set_header Connection "upgrade";
      proxy_set_header Authorization $http_authorization;

    }

    # 禁止访问 .git 等敏感文件
    location ~ /\.(?!well-known) {
       deny all;
    }


}

   使用说明

添加好需要收集的日志主机路径后便可部署自动收集日志了

[{"path": "/www/wwwlogs/lca_access_nginx.log", "topic": "nginx"}, {"path": "/opt/lca_sys/resource/log/server/access-{Y}{M}{D}.log", "topic": "lca_project"}, {"path": "/opt/lca_sys/resource/log/run/{Y}-{M}-{D}.log", "topic": "lca_project_01"}]

日志路径可以是固定的也可以填写占位符系统会自动替换，可轻松收集任意形式的日志路径。

{Y} 替换大年 例如：2025

{y} 替换小年 例如：25

{M} 替换月 例如：01

{m} 替换月 例如：1

{D} 替换日 例如：01

{d} 替换日 例如：1

{H} 替换成小时

日志自动收集到日志库了

当然我们也提供 api 接口给程序主动调用，我们调用方式非常简单。

api调用 通过调用http://192.168.10.118:8086/send这个接口可以实时把日志写入分析系统当中 事例：curl -X POST "http://自己的地址/send" -H "Content-Type: application/x-www-form-urlencoded" -d "topic=ai_api&data=你的日志内容"

轻轻松松开发人员就可以对接api 投递日志了，吞吐率非常高。

配置告警

正则匹配报警规则

按照要求配置好告警规则通知方式

企业微信webhook通知

邮箱通知

权限管理

操作日志

日志库库可设置保留天数，过期的数据会自动清除。

博客
从被日志搞崩溃到自研 LCA：一个运维程序员的自救之路
09-28 459
程序员创业记：从被日志逼疯到开发日志工具 一位程序员转型架构师后，因频繁被日志问题折磨（如日志爆盘、分散难查），尝试市面工具（ELK、云日志服务）均不满意，索性自己开发了轻量级日志系统LCA。最初仅为自救，意外获得开发者青睐并开源，逐步迭代为企业级产品。这个故事揭示：技术创业往往源于解决自身痛点，粗糙但实用的工具可能正击中市场空白。
博客
前端只需 5 行代码，就能把日志写入远程日志管理系统，快速定位故障，实时报警！
09-25 360
摘要： 本文介绍了一种极简前端日志上报方案，只需20行代码即可实现远程日志记录。通过fetch + URLSearchParams发送POST请求，支持分类标记（如错误、用户行为）、全局异常捕获，并能结合告警系统实时监控。方案优势包括轻量接入、跨平台兼容、秒级上报，有效解决线上问题复现难、排查慢的痛点。开发者可快速封装工具函数，添加用户上下文信息，实现低成本高收益的前端监控。（148字）
博客
yum 安装 supervisorctl
09-01 319
摘要：本文介绍在基于 yum 的 Linux 系统（如 CentOS、Alibaba Cloud Linux）上安装和配置 Supervisor 进程管理工具的方法。主要步骤包括：通过 yum 安装 Supervisor（需先启用 EPEL 仓库）、验证安装、启动服务、基本使用命令（如 status/start/stop）、配置文件说明（主配置和子服务配置），以及常见问题解决方案。最后提供一键安装命令，方便快速部署。适用于需要管理守护进程的用户。
博客
上线 LCA 一年，我为公司每年省下 5 万元
08-21 859
​作为运维负责人，我在一年前引入了 LCA 日志收集智能分析系统，通过“日志本地归档 + 智能压缩 + 替代云存储”三步走策略，成功将日志管理成本从每月 4000+ 降至近乎为零。一年下来，直接节省硬件与云服务成本超 5 万元。本文分享我的落地思路与技术细节。
博客
解决Docker 无法连接到官方镜像仓库
08-20 2435
摘要：Docker无法连接官方镜像仓库时，通常由国内网络问题导致。推荐配置阿里云镜像加速器作为首要解决方案，可大幅提升拉取速度。其他方案包括使用公共镜像源、检查DNS设置、配置代理或重启Docker服务。避免使用无效调试方法如ping测试或手动下载镜像。通过运行测试镜像可验证修复效果，国内用户应优先采用镜像加速方案确保稳定访问。（149字）
博客
编译安装 Nginx
08-20 421
本文详细介绍了在Linux系统上编译安装Nginx的完整步骤。主要内容包括：安装依赖包、下载源码、配置编译选项、创建用户和目录、设置systemd服务、防火墙配置等关键环节。特别提供了常用模块的编译参数说明、服务管理命令以及HTTPS配置方法。通过这12个步骤，用户可以完成Nginx的定制化安装，并实现开机自启、日志管理等功能，最终部署一个高性能的Web服务器。文中还包含测试验证方法和常用命令速查表，便于用户快速掌握Nginx的基本运维操作。
博客
MySQL执行流程5步走：从SQL输入到结果返回的全过程解析
08-15 132
MySQL查询执行全流程解析：从客户端请求到结果返回。一条SQL语句需经历5个关键步骤：客户端请求发送（半双工协议）、查询缓存检查（哈希匹配）、SQL解析预处理（语法树构建）、优化器生成执行计划（基于成本优化），最后通过存储引擎执行并返回结果。性能优化建议包括避免SELECT *、合理使用LIMIT，以及写密集场景关闭查询缓存。整个过程展现了MySQL高效处理SQL请求的底层机制。
博客
告别ELK,LCA是成千上万的运维和开发的首选
08-15 741
LCA日志收集智能分析系统助力企业高效管理海量日志 面对数字化转型中的日志管理痛点，LCA系统提供一站式解决方案：支持多源日志快速采集与集中处理，内置过滤、聚合等高级功能；通过可视化仪表盘呈现关键指标，并配备智能告警机制（支持企业微信/邮件通知）；同时提供API实时接入、私有化部署及安全管控，满足企业高效运维与合规需求。系统部署简便，支持灵活日志路径配置（含日期占位符）和自动清理策略，显著降低运维成本，提升业务稳定性。
博客
拓展面试题之-kafka
07-20 377
Kafka主要组件包括主题(Topic)、生产者(Producer)、消费者(Consumer)和经纪人(Broker)。Rebalance是消费者组内分区重新分配的过程，触发条件包括消费者数量、订阅主题数或分区数的变化。消费者组(Consumer Group)是Kafka实现消息模型的核心机制，通过组内消费者协调消费实现单播或广播。Kafka的高性能源于其分区机制、顺序写入、零拷贝等技术，支持三种ACK机制(0、1、-1)确保不同级别的可靠性。虽然Kafka采用主写主读模式，但从2.4版本开始已支持有限度
博客
拓展面试题之-rabbitmq面试题
07-20 505
本文总结了RabbitMQ常见面试题，主要包含以下内容：RabbitMQ的使用场景（解耦、异步、削峰等）；如何保证消息可靠性（发送方/接收方确认机制、持久化）；高可用方案（镜像集群）；消息顺序性保证；提高消费速率的方法；四种路由方式；虚拟主机（vhost）作用；信道传输机制；死信队列和延迟队列实现；集群模式（普通/镜像）及节点类型；消息幂等性解决方案；重要组件介绍；消息持久化实现方式等。同时还解答了重复消费、消息丢失防护、自动删除过期消息等实际问题，全面覆盖了RabbitMQ的核心知识点。
博客
一款比ELK更强大，更好用的日志收集分析告警系统 2.0版本重磅来袭
07-16 447
LCA日志收集智能分析系统是一款部署便捷、功能强大的日志管理工具。系统支持多源数据采集（服务器/应用/网络设备日志），提供灵活的数据处理能力（过滤/聚合/关联）和API实时调用接口，相比传统ELK方案更具优势。其特点包括：可视化仪表盘展示、智能告警机制、安全访问控制，以及高性能吞吐能力。部署时需修改配置文件（数据库、Redis、ETCD、Elasticsearch等连接参数），通过Nginx配置前端访问和后端API代理。系统采用前后端分离架构，支持Vue Router的history模式，并提供完善的日志记
博客
深入理解MySQL结构与执行流程
05-20 359
本文详细介绍了MySQL的逻辑架构、主要组件及其查询执行流程。MySQL架构分为客户端层、核心服务层和存储引擎层，各层协同工作以处理数据存储和查询。主要组件包括连接池、SQL接口、查询分析器、优化器等，这些组件共同确保查询的高效执行。查询执行流程涉及查询缓存、解析、优化和执行计划生成等步骤。文章还提供了优化策略，如合理使用查询缓存、索引优化和表结构设计，以提升数据库性能。通过深入理解MySQL的结构和执行流程，用户可以更好地进行数据库设计和性能优化。
博客
日均上亿访问，5000QPS的系统如何架构
05-20 1075
本文介绍了一个日均上亿访问、5000 QPS的高性能系统架构设计与实现。系统架构包括负载均衡器（DDoS防护）、API网关、应用服务器集群、数据库和缓存、消息队列（RocketMQ）、对象存储以及监控和报警系统。负载均衡器负责分发请求并提供DDoS防护，API网关处理路由、鉴权和限流，应用服务器集群提高并发处理能力和容错性，数据库和缓存优化数据读写效率，消息队列实现异步处理和解耦合，对象存储减轻服务器压力，监控系统确保系统稳定运行。设计要点包括高并发处理、数据一致性保障和系统扩展性，通过多级缓存、分布式事务
博客
日志收集分析和告警在故障排查中的重要性
08-21 885
通过实施上述建议，开发团队不仅可以有效应对突发事件，还能不断提升自身的应急处理能力，从而确保服务的稳定性和可靠性。：通过实时收集和分析日志，开发团队可以及时发现系统中的异常行为，有助于在故障发生初期就进行干预。：通过对日志的分析，可以发现系统的瓶颈所在，进而进行优化以提高系统的稳定性和性能。：随着业务的发展和技术的进步，持续优化日志收集和告警机制，确保其能够适应新的挑战。：对于一些常见的问题，告警系统可以触发自动化的修复流程，减轻开发人员的工作负担。等成熟的日志管理系统，可以更高效地收集、存储和分析日志。
博客
解决 Could not connect to deb.debian.org:80 (151.101.110.132), connection timed out
08-20 1371
当你遇到错误 “Could not connect to deb.debian.org:80 (151.101.110.132), connection timed out” 时，这通常意味着你的系统无法连接到 Debian 的软件仓库。这可能是由于网络问题、DNS 解析问题或服务器暂时不可用等原因造成的。
博客
关于mysql8.0 用户授予权限时遇到错误解决办法
08-19 609
当你在尝试为 MySQL 用户授予权限时遇到错误 `ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'IDENTIFIED BY 'max2024' WITH GRANT OPTION' at line 1`，这通常是因为 SQL 语法错误。
博客
Etcd：分布式键值存储的基石
08-18 452
Etcd 是一个强大而灵活的分布式键值存储系统，通过在实战中可以快速掌握其精髓。etcd实战一款比ELK更强大，更好用的日志收集分析告警系统。
博客
无法编辑 /etc/cron.d/root 的解决办法
08-18 555
当你在 Linux 系统中使用 lsattr 命令查看文件属性时，如果文件显示为 -----a-------e-- root，这意味着该文件具有特殊属性 a 和 e。当你被病毒入侵发现被修改了 /etc/cron.d/root 这个文件，定时任务一直在执行，无论怎么样都删除不了，可以使用 lsattr 命令查看文件属性。
博客
Go RPC 和 gRPC 技术详解
08-17 704
RPC 是一种协议，它允许客户端程序调用远程服务器上的函数或方法，而无需了解底层网络细节。通常，客户端和服务器通过网络通信，并且需要一种方式来序列化和反序列化数据。
博客
Go Channel 详解
08-17 576
在 Go 语言中，channel是一种用于在 goroutine 之间传递数据的机制。它提供了同步和通信的能力，使得并发编程变得更加简单和安全。Channel 在 Go 语言中的设计是类型安全的，并且支持发送和接收两种操作。通道是 Go 语言中实现 goroutine 间通信的基础工具。它们提供了简单的同步机制，让并发编程变得直观且容易管理。通过合理的设计和使用，通道可以极大地简化程序的复杂度，并提高程序的性能和可靠性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值