iLogtail和Mogo整合实践

已于 2022-03-13 15:16:40 修改
阅读量3.6k 收藏
点赞数
分类专栏： iLogtail 文章标签： kafka java 分布式
于 2022-03-13 12:27:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41969358/article/details/123427499
版权

iLogtail和Mogo整合实践

最近在做日志采集-处理-展示的系统
日志采集采用了iLogtail采集日志传输到kafka
之后通过flink处理kafka中数据存储到clickhouse
最后通过Mogo展示clickhouse中数据

整体采集日志服务架构

整体架构如下，本次重点讲解iLogtail采集和Mogo展示部分。

在这里插入图片描述

iLogtail日志采集

我们在iLogtail和Filebeat中选择iLogtail主要出于以下原因：

  • iLogtail中flushers(处理方式)配置中，支持多个kafka集群作为接收者
  • iLogtail能达到单核100M/s的采集性能，高于Filebeat 5倍以上
  • iLogtail使用时cpu占用率远低于Filebeat

数据采集到kafka大家主要参考文档iLogtail使用入门-iLogtail本地配置模式部署(For Kafka Flusher)
在按照文档部署后，下面主要讲解实际采集中需要注意的问题点：

当我们遇到错误日志中的堆栈信息，需要对此进行多行日志解析
2022-03-02 14:01:30.000 DEBUG 3049 --- [pool-5-thread-1] c.a.toptea.sysm.invilid.InvilidResource  : 输出正常值1
2022-03-02 14:01:30.000 DEBUG 3049 --- [pool-5-thread-1] c.a.toptea.sysm.invilid.InvilidResource  : 输出正常值2
2022-03-02 14:01:30.000 DEBUG 3049 --- [pool-5-thread-1] c.a.toptea.sysm.invilid.InvilidResource  : 输出正常值3
2022-03-02 14:01:30.006 ERROR 3049 --- [pool-5-thread-1] c.a.toptea.sysm.invilid.InvilidResource  : ERROR
 
java.lang.ArithmeticException: / by zero
        at com.ai.toptea.sysm.invilid.InvilidResource.invilidJob2(InvilidResource.java:35) ~[sysm-data-invilid-2.0.0.jar:2.0.0]
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) ~[na:1.8.0_152]
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) ~[na:1.8.0_152]
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) ~[na:1.8.0_152]
        at java.lang.reflect.Method.invoke(Method.java:498) ~[na:1.8.0_152]
        at org.springframework.scheduling.support.ScheduledMethodRunnable.run(ScheduledMethodRunnable.java:84) [spring-context-5.2.5.RELEASE.jar:5.2.5.RELEASE]
        at org.springframework.scheduling.support.DelegatingErrorHandlingRunnable.run(DelegatingErrorHandlingRunnable.java:54) [spring-context-5.2.5.RELEASE.jar:5.2.5.RELEASE]
        at org.springframework.scheduling.concurrent.ReschedulingRunnable.run(ReschedulingRunnable.java:93) [spring-context-5.2.5.RELEASE.jar:5.2.5.RELEASE]
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) [na:1.8.0_152]
        at java.util.concurrent.FutureTask.run(FutureTask.java:266) [na:1.8.0_152]
        at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180) [na:1.8.0_152]
        at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) [na:1.8.0_152]
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) [na:1.8.0_152]
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) [na:1.8.0_152]
        at java.lang.Thread.run(Thread.java:748) [na:1.8.0_152]
 
2022-03-02 14:01:30.006 DEBUG 3049 --- [pool-5-thread-1] c.a.toptea.sysm.invilid.InvilidResource  : 输出正常值4
2022-03-02 14:01:30.006 DEBUG 3049 --- [pool-5-thread-1] c.a.toptea.sysm.invilid.InvilidResource  : 输出正常值5

多行日志提交给插件时需要使用 processor_split_log_regex 进行基于行首正则的切分，日期开头配置如下，大家可以根据实际情况修改。

{
    "detail":{
        "SplitKey":"content",
        "SplitRegex":"\\d+-\\d+-\\d+ \\d+:\\d+:\\d+.*"
    },
    "type":"processor_split_log_regex"
}

还有很多其他的处理方式，可参考Logtail 混合模式：使用插件处理文件日志

添加日志字段和重命名日志字段

可在processors中通过processor_add_fields添加和processor_rename重命名字段。
processor_add_fields使用具体参照文档https://help.aliyun.com/document_detail/196155.html
processor_rename使用具体参照文档https://help.aliyun.com/document_detail/196157.html

"processors":
               [
                   {
                     "type":"processor_add_fields",
                     "detail":
                     {
                         "Fields": {
                            "input_type": "log",
                            "type": "LOGTAIL_LOG"
                         }
                     }
                   },
                   {
                     "type":"processor_rename",
                     "detail": {
                            "SourceKeys": ["__tag__:__path__","content"],
                            "DestKeys": ["source","message"],
                            "NoKeyError": true
                        }
                   }
               ]
完整配置如下，其中包含对于堆栈信息处理，添加字段处理

大家只需要根据实际情况修改日志采集相关配置log_path和file_pattern，日志输出flushers中kafka的地址及topic，还有就是日志处理processors中新增字段processor_add_fields中的配置。

{
    "metrics":{
        "##1.0##kafka_output_test3":{
            "category":"file",
            "log_type":"apsara_log",
            "separator":"",
            "keys":[
                ""
            ],
            "regex":[
                ""
            ],
            "log_begin_regex":[
                ""
            ],
            "log_begin_regexs":[
                ""
            ],
            "logBeginRegex":[
                ""
            ],
            "logBeginRegexs":[
                ""
            ],
            "log_path":"/home/admin/logs/",
            "file_pattern":"*.log",
            "create_time":1631018645,
            "defaultEndpoint":"",
            "delay_alarm_bytes":0,
            "delay_skip_bytes":0,
            "discard_none_utf8":false,
            "discard_unmatch":false,
            "docker_exclude_env":{

            },
            "docker_exclude_label":{

            },
            "docker_file":false,
            "docker_include_env":{

            },
            "docker_include_label":{

            },
            "enable":true,
            "enable_tag":false,
            "file_encoding":"utf8",
            "filter_keys":[

            ],
            "filter_regs":[

            ],
            "group_topic":"",
            "plugin":{
                "processors":[
                    {
                        "detail":{
                            "SplitRegex":"\\d+-\\d+-\\d+ \\d+:\\d+:\\d+.*",
                            "SplitKey":"content"
                        },
                        "type":"processor_split_log_regex"
                    },
                    {
                        "type":"processor_add_fields",
                        "detail":{
                            "Fields":{
                                "appName":"beyond",
                                "hostName":"jk-load3"
                            }
                        }
                    }
                ],
                "flushers":[
                    {
                        "type":"flusher_kafka",
                        "detail":{
                            "Brokers":[
                                "127.0.0.1:9092"
                            ],
                            "Topic":"logtail-flusher-kafka"
                        }
                    }
                ]
            },
            "local_storage":true,
            "log_tz":"",
            "max_depth":10,
            "max_send_rate":-1,
            "merge_type":"topic",
            "preserve":true,
            "preserve_depth":1,
            "priority":0,
            "raw_log":false,
            "aliuid":"",
            "region":"",
            "project_name":"",
            "send_rate_expire":0,
            "sensitive_keys":[

            ],
            "shard_hash_key":[

            ],
            "tail_existed":false,
            "time_key":"",
            "timeformat":"",
            "topic_format":"none",
            "tz_adjust":false,
            "version":1,
            "advanced":{
                "force_multiconfig":false,
                "tail_size_kb":10485760
            }
        }
    }
}
日志路径修改

因为启动后日志是默认配置的是bin目录下，所以需要修改下。
在bin目录同级创建log文件夹，在log目录里创建snapshot文件夹，修改bin目录下apsara_log_conf.json配置日志输出路径。

{
                "AsyncFileSink" :
                {
                        "Compress" : "Gzip",
                        "LogFilePath" : "/home/admin/iLogtail1.0.28/logtail-linux64/log/ilogtail.LOG",
                        "MaxDaysFromModify" : 300,
                        "MaxLogFileNum" : 10,
                        "MaxLogFileSize" : 20000000,
                        "Type" : "AsyncFile"
                },
                "AsyncFileSinkProfile" :
                {
                        "Compress" : "",
                        "LogFilePath" : "/home/admin/iLogtail1.0.28/logtail-linux64/log/snapshot/ilogtail_profile.LOG",
                        "MaxDaysFromModify" : 1,
                        "MaxLogFileNum" : 61,
                        "MaxLogFileSize" : 1,
                        "Type" : "AsyncFile"
                },
                "AsyncFileSinkStatus" :
                {
                        "Compress" : "",
                        "LogFilePath" : "/home/admin/iLogtail1.0.28/logtail-linux64/log/snapshot/ilogtail_status.LOG",
                        "MaxDaysFromModify" : 1,
                        "MaxLogFileNum" : 61,
                        "MaxLogFileSize" : 1,
                        "Type" : "AsyncFile"
                }
        }

修改bin目录下plugin_logger.xml配置文件

<rollingfile type="size" filename="/home/admin/iLogtail1.0.28/logtail-linux64/log/logtail_plugin.LOG" maxsize="2097152" maxrolls="10"/>
修改性能参数配置

在bin/ilogtail_config.json配置文件中修改Logtail启动参数，因为默认cpu限制为2核，为了尽量降低对机器上业务的影响，这里我改成了1核的限制。

{
    "logtail_sys_conf_dir": "/home/admin/iLogtail1.0.28/logtail-linux64/bin/sys_conf_dir/",
    "config_server_address" : "http://logtail.cn-zhangjiakou.log.aliyuncs.com",
    "cpu_usage_limit" : 1
}
相关iLogtail的参考文档

整体介绍文档地址 https://zhuanlan.zhihu.com/p/443563965

官方配置介绍https://help.aliyun.com/document_detail/29058.html

设计介绍文档https://github.com/alibaba/ilogtail/blob/main/docs/zh/concept%26designs/Overview.md

数据结构介绍https://github.com/alibaba/ilogtail/blob/main/docs/zh/concept%26designs/Datastructure.md

iLogtail 使用指南https://github.com/alibaba/ilogtail/tree/main/docs/zh

iLogtail本地配置模式部署(For Kafka Flusher)参考资料https://developer.aliyun.com/article/848943

iLogtail 与Filebeat 性能对比文档https://new.qq.com/omn/20220124/20220124A01IZ800.html

处理采集到数据的方式参考
https://developer.aliyun.com/article/727322?spm=a2c4g.11186623.0.0.4b9f22d9H32xNc

修改Logtail性能参数参考https://help.aliyun.com/document_detail/32278.htm#concept-sdg-czb-wdb

Logtail技术分享(一) : Polling + Inotify 组合下的日志保序采集方案https://developer.aliyun.com/article/204554

Logtail技术分享(二) : 多租户隔离技术+双十一实战效果https://developer.aliyun.com/article/251629?spm=a2c6h.14164896.0.0.404c3396hdbbnN

处理数据插件介绍https://help.aliyun.com/document_detail/196153.html

日志处理与存储

这里我们采用了主流的大数据处理技术kafka+flink+clickhouse，主要借助了kafka的高吞吐量、低延迟来收集各种服务的log，通过kafka以统一接口服务的方式开放给flink数据，然后通过flink极致的流式处理性能将数据处理完存储到clickhouse中。
中间的具体实现可以自行选择，这里不做过多介绍。

Mogo日志系统展示clickhouse中的数据

安装使用主要参考了https://mogo.shimo.im/doc/AV62KU4AABMRQ
我采取的本地部署的方式，只不过Linux的下载地址我没成功，所以我用的是wget https://github.com/shimohq/mogo/releases/download/v0.1.0/mogo-v0.1.0-linux-amd64.tar.gz

# 下载二进制 

# Linux 下下载
wget https://github.com/shimohq/mogo/releases/download/v0.1.0/mogo-v0.1.0-linux-amd64.tar.gz 

# 解压 tar.gz 包到 ./mogo 目录

# 修改 config/default.toml 配置文件

# 执行 scripts/migration 下迁移脚本，创建数据库和表

# 启动 mogo
cd ./mogo-${latest} && ./mogo -config config/default.toml

# 打开浏览器访问 http://localhost:19001
# 默认登录用户名: shimo 
# 默认登录密码: shimo

这里需要注意的是Mogo中用到了mysql和redis，需要大家提前安装好。
所以default.toml配置文件主要需要修改的是[server.http]，[server.governor]，[mysql.default]，[redis.default]。

使用介绍

由于我只是使用Mogo直接从clickhouse中获取数据的，并没有用到Mogo的其他功能，所以我的具体操作如下：

  1. 新增数据库连接实例

在这里插入图片描述
在这里插入图片描述

注意是tcp端口，连接串参考：

tcp://127.0.0.1:9001?username=clickhouse&password=clickhouse&read_timeout=30&write_timeout=30&debug=ture

对应的mysql中数据表mocro.mogo_base_instance，做的是软删除。

  1. 创建数据库
    在这里插入图片描述

这里因为要用到已有数据库，但是Mogo不支持填写已存在数据库，所以先随便取个名字

然后在mysql中数据表mocro.mogo_base_database将clickhouse数据库名字修改

  1. 创建数据表

创建完实例后创建数据表，不可和已有表名重复，对应的是mysql中数据表mocro.mogo_base_table

页面上操作完会自动创建，这里的kafka地址配置和采集规则配置是为了将数据从kafka采集到clickhouse中，我们直接使用Mogo查询功能，所以这里不用管

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

对于已存在的表查询，需要直接在mysql中数据表mocro.mogo_base_table直接添加，必须包含_time_second_字段

之后就可以根据需要自己查询了
在这里插入图片描述

因为目前Mogo项目（go语言）对于我目前的日志存储系统中clickhouse配套使用中有些问题，所以在咨询了Mogo相关开发大佬后做出了点修改。

1、全局固定了日志查询字段为_time_second_，为了避免改动已有的日志存储程序，现将Mogo源码中涉及到的_time_second_字段改为datatime字段

// 2022.03.09   // todo
// 定制化修改,将 所有 _time_second_  改为  datatime
const ignoreKey = "datatime"
 
//const timeCondition = "datatime >= %d AND datatime < %d"
const timeCondition = "datatime >= %s AND datatime < %s"

2、因为我们日志系统中clickhouse的表通过Mogo查询一直报错，经过排查后发现是我们目前的日志表格式各Mogo自动创建的数据表格式略微不同导致的，所以将源码中涉及到的所有时间戳查询方式修改为日期格式字符串查询。

func (c *ClickHouse) countSQL(param view.ReqQuery) (sql string) {
   // 2022.03.09  // todo
   // 定制化修改,解决报错问题将所有日期由时间戳格式化为日期格式字符串
   var ccST = "'" + time.Unix(param.ST, 0).Format("2006-01-02 15:04:05") + "'"
 
   var ccET = "'" + time.Unix(param.ET, 0).Format("2006-01-02 15:04:05") + "'"
 
   sql = fmt.Sprintf("SELECT count(*) as count FROM %s WHERE %s AND "+timeCondition,
      param.DatabaseTable,
      param.Query,
      //param.ST, param.ET)
      ccST, ccET)
   elog.Debug("ClickHouse", elog.Any("step", "countSQL"), elog.Any("sql", sql))
   return
}
后期集成

如果也有小伙伴和我一样是用Mogo只作为展示功能，那么你可能也需要对自己的日志存储系统做如下改造。

自己的日志项目在clickhouse中自动创建表时也要同时自动在Mogo的数据表mocro.mogo_base_table中自动加入一条相应数据，这样就可以在Mogo前台看到我们自己日志存储系统的clickhouse中所有数据了。

beyond的架构之旅
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
MoGo:我的MoGo网站
03-22
MoGo:我的MoGo网站
mogo
03-20
mogo
MoGo
03-06
MoGo
spring4.0-mogo java driver 整合jar
01-25
spring-mogo java driver 整合jar
架构设计参考项目系列主题：零信任策略下K8s安全监控最佳实践
Larry的博客
09-12 333
零信任策略下K8s安全监控最佳实践
iLogtail 使用入门-iLogtail 本地配置模式部署(For Kafka Flusher)
阿里云技术
01-10 1659
阿里已经正式开源了可观测数据采集器iLogtail。作为阿里内部可观测数据采集的基础设施，iLogtail承载了阿里巴巴集团、蚂蚁的日志、监控、Trace、事件等多种可观测数据的采集工作。​
iLogtail专题三：iLogtail部署及配置
beyond的博客
03-06 3172
公司一直使用的Filebeat进行日志采集 由于Filebeat采集组件一些问题，现需要使用iLogtail进行代替 现记录下iLogtail介绍和实际使用过程 这是iLogtail系列的第三篇文章
iLogtail专题十：iLogtail插件开发
beyond的博客
03-04 531
公司一直使用的Filebeat进行日志采集 由于Filebeat采集组件一些问题，现需要使用iLogtail进行代替 现记录下iLogtail介绍和实际使用过程 这是iLogtail系列的第十篇文章 如何开发Input 插件 了解如何开发Input插件前你需要先了解Input插件接口，目前的Input插件分为2类，分别为MetricInput与ServiceInput，分别为MetricInput可以由全局控制采集频率，适合Metric指标拉取等情况，ServiceInput更适...
基于Clickhouse日志系统技术
ytp552200ytp的博客
05-30 2008
基于Clickhouse日志系统技术
iLogtail专题二：iLogtail介绍
beyond的博客
03-04 2244
公司一直使用的Filebeat进行日志采集 由于Filebeat采集组件一些问题，现需要使用iLogtail进行代替 现记录下iLogtail介绍和实际使用过程 这是iLogtail系列的第二篇文章 iLogtail介绍资源消耗：稳定性：可管控： 2021年11月23日，阿里正式开源可观测数据采集器iLogtail。作为阿里内部可观测数据采集的基础设施，iLogtail承载了阿里巴巴和蚂蚁的日志、监控、Trace、事件等多种可观测数据的采集工作。iLogtail运行在服务器、容器、K8s、嵌入式等多种环.
Mogo
03-29
Mogo
ClickHouse + ClickVisual 构建日志平台
最新发布
n9ecommunity的博客
12-01 961
ClickVisual 官方宣扬的核心功能是：轻量级日志查询、分析、报警可视化平台。报警这块有更好的方案，我这里主要尝试一下接入日志、存储、查询日志的整个流程。文档：https://clickvisual.net/代码：https://github.com/clickvisual/clickvisualClickVisual 的整体思路设计挺巧妙的，不过业界使用 ClickHouse 存储日志，大都是使用的双 array 存储动态字段。你们公司是如何做的呢？
还在用ES查日志吗，快看看石墨文档 Clickhouse 日志架构玩法
Go中国
02-22 549
1 背景石墨文档全部应用部署在Kubernetes上，每时每刻都会有大量的日志输出，我们之前主要使用SLS和ES作为日志存储。但是我们在使用这些组件的时候，发现了一些问题。成本问题：SLS...
iLogtail 开源之路
阿里云技术
08-24 608
iLogtail 作为阿里云 SLS 官方标配的采集器，多年以来一直稳定服务阿里集团、蚂蚁集团以及众多公有云上的企业客户，目前已经有千万级的安装量，每天采集数十PB的可观测数据。
iLogtail专题九：iLogtail插件系统简介
beyond的博客
03-04 953
背景 作为日志服务的采集 Agent，iLogtail 目前已运行于 100W+ 机器上，为万级别的应用提供服务，为了能够更好地实现与开源生态的融合并满足用户不断丰富的接入需求，我们为 iLogtail 引入了插件系统，目前，我们已通过插件系统支持了若干数据源，包括 HTTP、MySQL Query、MySQL Binlog 等。 实现原理 我们以如下流程图来说明 iLogtail 插件系统的实现原理。 为了支持插件系统，引入了 libPluginAdaptor 和 libPluginBase（
【问题解决】阿里云日志服务SLS日志记录ilogtail展示
草莓甜甜圈的博客
10-08 700
云日志服务默认记录日志是按照行进行分割的，但是发现错误输出的一段日志也按照行分割，不方便查看报错
iLogtail专题六：实际场景采集模拟
beyond的博客
03-04 453
公司一直使用的Filebeat进行日志采集 由于Filebeat采集组件一些问题，现需要使用iLogtail进行代替 现记录下iLogtail介绍和实际使用过程 这是iLogtail系列的第六篇文章 背景： 由于平时日志采集存在堆栈信息日志情况，需要对日志进行正确分割。 前期准备： 准备日志打印程序并启动。输出日志信息如下： 2022-03-02 14:01:30.000 DEBUG 3049 --- [pool-5-thread-1] c.a.toptea.sysm.in...
【配置不够,mogo总是挂】
qq_42228663的博客
05-23 556
项目场景： mogo总是时不时挂一下 问题描述 因为目前项的主要模块很是依赖mogo, 再加上服务器的配置比较勉强,内存总是爆掉,所以每隔几天或者一两周,mogo总是来那么一下 原因分析： 经过和运维大佬聊了一下,简单分析了一下原因: 1.服务器配置时硬性要求;(如果配置没有条件提升,就考虑一下其他方向吧) 2.和mogo的工作机制有一定的关系,mongo是贪婪模式 会把内存当磁盘用 ,读和写内存都会不断地升高; 解决方案： 我们服务器不止mogo在上面,还有其他服务在,所以服务都会抢内存,就是小小的增加几
如何使用Navicat连接mogo
05-10
DB数据库？ 要使用Navicat连接MongoDB数据库，需要进行以下步骤： 1. 打开Navicat软件，选择“连接”按钮，然后选择新的MongoDB连接。 2. 在“连接设置”窗口里，输入需要连接的MongoDB主机IP地址、端口号等配置信息，然后选择“测试连接”，确保连接成功。 3. 连接成功后，在“对象管理器”窗口里，可以看到数据库的所有集合（Collections），可以进行数据的增删改查等操作。 需要注意的是，Navicat支持多种不同的数据库连接，确保选择正确的类型和版本，才能正确连接和操作数据库。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值