PB级强大日志收集智能分析系统-LCA

已于 2024-08-21 10:27:06 修改
阅读量1.4k 收藏 8
点赞数 54
分类专栏： 日志分析 文章标签： go elasticsearch 运维 etcd kafka 机器学习
于 2024-07-17 11:00:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jc2255/article/details/140488725
版权

log-collect-ai-analytics

介绍

PB级日志收集智能分析系统-LCA

  • 快速部署：部署丝滑，管理方便，有web后台管理。
  • 高效的数据采集：LCA 支持多种数据源，无论是服务器日志、应用日志还是网络设备日志，都能一键配置，快速部署。
  • 灵活的数据处理：比起传统的elk更加灵活，而且还集成了日志分析和告警，内置强大的数据处理功能，包括过滤、聚合、关联等，让您轻松应对复杂的数据处理需求，除了按配置好的目录收集日志还提供了api接口实时调用,吞吐率高。
  • 直观的数据可视化：通过丰富的图表和仪表板，LCA 让数据分析变得更加简单直观，让您一目了然地了解业务状况。
  • 智能告警机制：实时监控关键指标，一旦发现异常立即触发告警，确保问题第一时间得到解决。
  • 安全可靠：web管理后台访问控制策略，保障您的数据安全无忧。
    ​
    git地址：日志收集智能分析系统-LCA
软件架构

在这里插入图片描述

通过在运维平台上配置日志收集项，或者通过api接口调用推送日志，logagent从etcd中获取要收集的日志信息从业务服务器读取日志信息，发往kafka，logtransfer负责从kafka读取日志，写入到Elasticsearch中，通过Kibana进行日志检索。loganalysis将安装规则分析日志，将告警，报错日志信息推给企业微信。

  1. 可实时收集常用的软件的日志，比如nginx，项目系统，当每次添加一个需要收集的日志文件时可以实时进行收集，还可以实时收集指定目录下所有按时间切分的日志例如：/logs/2024-07-01.log,/admin/lum-2024-07-02.log
  2. 可以通过api调用主动推送日志到日志分析系统（需要支持5000RPS/S）
  3. 可以对收集的日志进行分析，智能分析，然后按规则告警（nginx状态不是200，php文件报错）
  4. 实现如阿里sls一般查询日志
    在这里插入图片描述
安装教程

etcd安装

Etcd 安装配置

etcd 是一个分布式、高可用的一致性键值存储系统，提供可靠的分布式键值存储、配置共享和服务发现等功能。
etcd 可以用于存储关键数据和实现分布式调度，在现代化的集群运行中能够起到关键性的作用。
etcd 安装配置都非常简单，可以安装在大多数主流平台，比如 Linux、Windows、MacOS等。

1. Linux 安装 etcd
Linux 安装 etcd 有三种方式：yum安装、二进制安装和源码安装。

1.1 yum 安装
在 shell 中执行安装命令。

yum -y install etcd
执行结果：

Downloading packages:
etcd-3.3.11-2.el7.centos.x86_64.rpm |  10 MB  00:00:07     
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
  正在安装    : etcd-3.3.11-2.el7.centos.x86_64  1/1 
  验证中      : etcd-3.3.11-2.el7.centos.x86_64  1/1 
已安装:
  etcd.x86_64 0:3.3.11-2.el7.centos                                                                                 
完毕！
可执行文件 etcd 和 管理工具 etcdctl 均被安装在 /usr/bin 下。

配置文件位于 /etc/etcd/etcd.conf，我们可以使用 vi 进行编辑。

默认的工作目录位于 /var/lib/etcd。

设置 etcd 为系统服务：

$ systemctl enable etcd
启动运行 etcd：

$ systemctl start etcd
 

1.2 二进制安装
到 etcd 的 github 地址，下载二进制安装包。

etcd 下载地址：https://github.com/etcd-io/etcd/releases/。

以 etcd3.3.1 为例：

wget https://github.com/etcd-io/etcd/releases/download/v3.3.1/etcd-v3.3.1-linux-amd64.tar.gz 
如果 github 速度慢，可以使用华为镜像， 下载地址：https://mirrors.huaweicloud.com/etcd/。

wget https://mirrors.huaweicloud.com/etcd/v3.3.1/etcd-v3.3.1-linux-amd64.tar.gz
tar 包解压后，里面包含可执行文件 etcd 和 管理工具 etcdctl ：

tar zxvf etcd-v3.3.1-linux-amd64.tar.gz
将 etcd、etcdctl 复制到 /usr/bin 下。然后创建工作目录，编写配置文件 etcd.conf.yaml。

mkdir /var/lib/etcd
cd /var/lib/etcd
vi etcd.conf.yaml
例如配置文件内容如下：

name: "etcd-node"
data-dir: "/var/lib/etcd"
listen-peer-urls: "http://0.0.0.0:2380"
listen-client-urls: "http://0.0.0.0:2379"
advertise-client-urls: "http://127.0.0.1:2379"
启动运行 etcd：
$ nohup etcd --config-file=/var/lib/etcd/etcd.conf.yaml &
 
1.3 测试验证
查看版本：
etcdctl version

Elasticsearch安装

Elaticsearch，简称为 ES， ES 是一个开源的高扩展的分布式全文搜索引擎，是整个 Elastic Stack 技术栈的核心。它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理 PB 级别的数据。

Elasticsearch是一个分布式、可扩展、近实时的高性能搜索与数据分析引擎。Elasticsearch基于Apache Lucene构建，采用Java编写，并使用Lucene构建索引、提供搜索功能。Elasticsearch的目标是让全文搜索功能的落地变得简单。
使用 docker-compose 构建es集群环境


version: '3'
services:
  es01:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.10.0
    container_name: es01
    environment:
      - node.name=es01
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es02
      - cluster.initial_master_nodes=es01,es02
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms256m -Xmx256m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - esdata01:/usr/share/elasticsearch/data
    ports:
      - 9200:9200
    networks:
      - esnet
 
  es02:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.10.0
    container_name: es02
    environment:
      - node.name=es02
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es01
      - cluster.initial_master_nodes=es01,es02
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms256m -Xmx256m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - esdata02:/usr/share/elasticsearch/data
    networks:
      - esnet
 
volumes:
  esdata01:
  esdata02:
 
networks:
  esnet:
    driver: bridge

Kafka安装

kafka是一款分布式的基于发布/订阅模式的消息队列，是目前比较主流的消息中间件。

version: "3"
services:
 zookeeper:
  image: wurstmeister/zookeeper
  ports:
   - "2181:2181" 
 kafka:
  image: wurstmeister/kafka
  hostname: kafka
  ports:
   - "19004:19004"  
   - "9092:9092" 
  environment:
   TZ: CST-8
   KAFKA_BROKER_ID: 3
   KAFKA_ADVERTISED_HOST_NAME: kafka
   KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
   KAFKA_LISTENERS: INSIDE://:9092,OUTSIDE://:19004
   KAFKA_ADVERTISED_LISTENERS: INSIDE://kafka:9092,OUTSIDE://120.79.5.112:19004
   KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INSIDE:PLAINTEXT,OUTSIDE:PLAINTEXT
   KAFKA_INTER_BROKER_LISTENER_NAME: INSIDE
  volumes:
   - /var/run/docker.sock:/var/run/docker.sock
  links:
   - zookeeper

部署logAgent

mkdir -p /opt/go_build/log-analysis/logAgent
cd /opt/go_build/log-analysis/logAgent
vim /opt/go_build/log-analysis/logAgent/etc/config.ini

[center]
address = 172.19.12.60:80

[kafka]
address = 172.19.12.60:9092
chan_max_size=100000

[etcd]
address = 172.19.12.60:2379
timeout = 5
collect_log_key = /logagent/%s/collect # 收集的日志的key

[log]
filePath = /opt/go_build/log-analysis/logAgent/logs
filename = logagent
# 日志级别 trace,debug,info,warning,error,fatal,panic
loglevel = info,warning,error,fatal,panic
# 最长保存多少天
max_age = 7

在这里插入图片描述

部署logTransfer

mkdir -p /opt/go_build/log-analysis/logTransfer
cd /opt/go_build/log-analysis/logTransfer

vim /opt/go_build/log-analysis/logTransfer/etc/config.ini

[kafka]
address = 172.19.12.60:9092
topic = ai_nginx,ai_api
group = logCollect

[es]
address = 172.19.12.60:9200
max_chan_size = 100000
nums = 16

[log]
filePath = /opt/go_build/log-analysis/logTransfer/logs
filename = logtransfer
# 日志级别 trace,debug,info,warning,error,fatal,panic
loglevel = info,warning,error,fatal,panic
# 最长保存多少天
max_age = 7

在这里插入图片描述

部署api

vim /opt/go_build/log-analysis/api/etc/config.ini

[center]
address = 172.19.12.60:80

[kafka]
address = 172.19.12.60:9092
chan_max_size=100000

[etcd]
address = 172.19.12.60:2379
timeout = 5
collect_log_key = /logagent/%s/collect # 收集的日志的key

[log]
filePath = /opt/go_build/log-analysis/api/logs
filename = api
# 日志级别 trace,debug,info,warning,error,fatal,panic
loglevel = info,warning,error,fatal,panic
# 最长保存多少天
max_age = 7

在这里插入图片描述

部署analysis

vim /opt/go_build/log-analysis/analysis/etc/config.ini

[center]
address = 172.19.12.60:80

[kafka]
address = 172.19.12.60:9092
chan_max_size=100000

[etcd]
address = 172.19.12.60:2379
timeout = 5
collect_log_key = /logagent/%s/collect # 收集的日志的key

[log]
filePath = /opt/go_build/log-analysis/analysis/logs
filename = logagent
# 日志级别 trace,debug,info,warning,error,fatal,panic
loglevel = info,warning,error,fatal,panic
# 最长保存多少天
max_age = 7

[es]
address = 172.19.12.60:9200
max_chan_size = 100000
nums = 16
index = ai_api,ai_nginx

[redis]
host = 127.0.0.1
port = 6379
pwd =

[wechat]
qyurl = https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=0601b729-3f92-4486-8230-bb572fda3075

在这里插入图片描述

部署logmanager

vim /opt/go_build/log-analysis/logmanager/conf/app.conf

# 服务器基础配置
# 应用程序名称
appname = logManager
# 服务端口
httpport = 8083
# 运行模式 dev/prod
runmode = prod
# 是否启用session
sessionon = true

# mysql相关配置信息
mysql_host = 172.19.12.60
mysql_port = 3306
mysql_user = logmanager
mysql_pass = LPY5mjjTB4iEAP6E
mysql_db   = logmanager

# redis相关配置
redis_host = 172.19.12.60
redis_port = 6379
redis_db   = 0
redis_password =

# etcd相关配置
etcd_host = 172.19.12.60
etcd_port = 2379

#kibana
kibana_host = 172.19.12.60:5601

在这里插入图片描述

使用说明
  • 日志收集
    通过把需要收集的日志文件或者日志文件通配符配置到etcd，logAgent会实时自动收集好需要收集的日志。
    [
    {“path”:“/data/wwwlogs/preapi_maxengine_cn_access_nginx.log”,“topic”:“ai_nginx”},
    {“path”:“/data/wwwroot/maxengine/storage/logs/lumen-Y-M-D.log”,“topic”:“ai_api”}
    ]
  • api调用
    通过调用 http://msgapi.c4eee.cn/send 这个接口可以实时把日志写入分析系统当中
    事例：curl -X POST “http://msgapi.c4eee.cn/send” -H “Content-Type: application/x-www-form-urlencoded” -d “topic=ai_api&data=你的日志内容”
  1. 登录
    演示地址 服务器配置2核4G 轻量应用 大家手下留情拜托🙏🏻

http://manage.c4eee.cn/
账号：admin
密码：admin在这里插入图片描述
2. 配置收集
在这里插入图片描述

  1. 分析查询
    在这里插入图片描述

  2. 告警
    在这里插入图片描述

必读系列

一款比ELK更强大，更好用的日志收集分析告警系统

备注

下载好安装程序，按照文档部署好，即可使用了，如遇问题可留言评论，我会解答，也可直接联系我。

蒋厚施
关注
专栏目录
博客
一款比ELK更强大，更好用的日志收集分析告警系统
08-16 2310
部署丝滑，管理方便，有web后台管理。比起传统的elk更加灵活，而且还集成了日志分析和告警。除了按配置好的目录收集日志还提供了api接口实时调用。可以给所有程序使用，具备通用性。性能强大，分布式。
博客
日志收集分析和告警在故障排查中的重要性
08-21 660
通过实施上述建议，开发团队不仅可以有效应对突发事件，还能不断提升自身的应急处理能力，从而确保服务的稳定性和可靠性。：通过实时收集和分析日志，开发团队可以及时发现系统中的异常行为，有助于在故障发生初期就进行干预。：通过对日志的分析，可以发现系统的瓶颈所在，进而进行优化以提高系统的稳定性和性能。：随着业务的发展和技术的进步，持续优化日志收集和告警机制，确保其能够适应新的挑战。：对于一些常见的问题，告警系统可以触发自动化的修复流程，减轻开发人员的工作负担。等成熟的日志管理系统，可以更高效地收集、存储和分析日志。
博客
解决 Could not connect to deb.debian.org:80 (151.101.110.132), connection timed out
08-20 307
当你遇到错误 “Could not connect to deb.debian.org:80 (151.101.110.132), connection timed out” 时，这通常意味着你的系统无法连接到 Debian 的软件仓库。这可能是由于网络问题、DNS 解析问题或服务器暂时不可用等原因造成的。
博客
关于mysql8.0 用户授予权限时遇到错误解决办法
08-19 245
当你在尝试为 MySQL 用户授予权限时遇到错误 `ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'IDENTIFIED BY 'max2024' WITH GRANT OPTION' at line 1`，这通常是因为 SQL 语法错误。
博客
Etcd：分布式键值存储的基石
08-18 343
Etcd 是一个强大而灵活的分布式键值存储系统，通过在实战中可以快速掌握其精髓。etcd实战一款比ELK更强大，更好用的日志收集分析告警系统。
博客
无法编辑 /etc/cron.d/root 的解决办法
08-18 353
当你在 Linux 系统中使用 lsattr 命令查看文件属性时，如果文件显示为 -----a-------e-- root，这意味着该文件具有特殊属性 a 和 e。当你被病毒入侵发现被修改了 /etc/cron.d/root 这个文件，定时任务一直在执行，无论怎么样都删除不了，可以使用 lsattr 命令查看文件属性。
博客
Go RPC 和 gRPC 技术详解
08-17 550
RPC 是一种协议，它允许客户端程序调用远程服务器上的函数或方法，而无需了解底层网络细节。通常，客户端和服务器通过网络通信，并且需要一种方式来序列化和反序列化数据。
博客
Go Channel 详解
08-17 376
在 Go 语言中，channel是一种用于在 goroutine 之间传递数据的机制。它提供了同步和通信的能力，使得并发编程变得更加简单和安全。Channel 在 Go 语言中的设计是类型安全的，并且支持发送和接收两种操作。通道是 Go 语言中实现 goroutine 间通信的基础工具。它们提供了简单的同步机制，让并发编程变得直观且容易管理。通过合理的设计和使用，通道可以极大地简化程序的复杂度，并提高程序的性能和可靠性。
博客
解决PHP链接数据库突然报错问题
08-12 291
服务器通过docker容器部署的PHP，很久没用了，突然某一天PHP程序链接MySQL报错了
博客
TCC型分布式事务处理
07-24 1400
在此之后，拥堵在网络上的一阶段 Try 数据包被 TCC 服务收到，出现二阶段 Cancel 请求比一阶段 Try 请求先执行的情况，此 TCC 服务在执行晚到的 Try 之后，将永远不会再收到二阶段的 Confirm 或者 Cancel，造成 TCC 服务悬挂。但是在接入 TCC 之后，需要考虑如何将其分成两个阶段完成：把资源的检查和预留放在一阶段的 Try 操作中进行，把真正的业务操作的执行放在二阶段的 Confirm 操作中进行。业务活动管理器控制业务活动的一致性，它登记业务活动中的操作， 并在。
博客
深入理解 Kafka
07-23 628
Kafka的复制机制既不是完全的同步复制，也不是单纯的异步复制。完全同步复制要求All Alive Follower都复制完，这条消息才会被认为commit，这种复制方式极大的影响了吞吐率。而异步复制方式下，Follower异步的从Leader复制数据，数据只要被Leader写入log就被认为已经commit，这种情况下，如果leader挂掉，会丢失数据，kafka使用ISR的方式很好的均衡了确保数据不丢失以及吞吐率。Follower可以批量的从Leader复制数据，而且Leader充分利用磁盘顺序读以
博客
Nginx 结合 consul 实现动态负载均衡
07-20 1175
nginx-upsync-module 提供了动态的负载均衡，动态更新上游的服务器不需要 reload nginx ，它的功能是拉取 consul 的后端 server 的列表，并更新Nginx 的路由信息。此模块不依赖于任何第三方模块。 consul 作为 Nginx 的 db，利用 consul 的 KV 服务，每个 Nginx work 进程独立的去拉取各个upstream 的配置，并更新各自的路由。挂了第三方模块无法结束进程或者是当前进程尚未结束
博客
nginx负载均衡
07-20 633
当我们的应用单例不能支撑用户请求时，此时就需要扩容，从一台服务器扩容到两台、几十台、几百台，我们需要一个入口，将客户端请求均衡分布在后台的多个服务器上。负载均衡在服务端开发中算是一个比较重要的特性， nginx 提供的负载均衡可以实现上游服务器的负载均衡、故障转移、失败重试、容错、健康检查，当某些上游服务器出现问题时，可以将请求转到其它的上游服务器从而保障高可用。
博客
Elasticsearch 最全调优，最佳实践（二）
07-19 1120
基于 word2vec 和 Elasticsearch 实现个性化搜索基于 word2vec、Elasticsearch 和自定义的脚本插件，我们就实现了一个个性化的搜索服务，相对于原有的实现，新版的点击率和转化率都有大幅的提升；基于 word2vec 的商品向量还有一个可用之处，就是可以用来实现相似商品的推荐；使用 word2vec 来实现个性化搜索或个性化推荐是有一定局限性的，因为它只能处理用户点击历史这样的时序数据，而无法全面的去考虑用户偏好，这个还是有很大的改进和提升的空间
博客
Elasticsearch 最全调优，最佳实践（一）
07-19 698
、设计阶段调优根据业务增量需求，采取基于日期模板创建索引，通过roll over API 滚动索引；使用别名进行索引管理；每天凌晨定时对索引做force_merge 操作，以释放空间；采取冷热分离机制，热数据存储到SSD，提高检索效率；冷数据定期进行 shrink 操作，以缩减存储；采取curator 进行索引的生命周期管理；仅针对需要分词的字段，合理的设置分词器；Mapping 阶段充分结合各个字段的属性，是否需要检索、是否需要存储等。
博客
强大的日志收集智能分析系统-LCA之程序部署
07-17 245
强大的日志收集智能分析系统-LCA 所有程序的部署教程
博客
强大的日志收集智能分析系统-LCA之环境搭建
07-17 303
快速部署Elasticsearch集群，etcd，kafka，搭建强大的日志收集智能分析系统。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值