Beats：使用 Elastic Stack 记录 Golang 应用日志

于 2020-10-17 17:40:48 发布
阅读量1.5k 收藏 4
点赞数 3
分类专栏： Elastic Beats 文章标签： elasticsearch 大数据
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/UbuntuTouch/article/details/109115629
版权
Elastic 同时被 2 个专栏收录
1496 篇文章 903 订阅
订阅专栏
Beats
91 篇文章 73 订阅
订阅专栏

当今可用的丰富编程语言为程序员提供了用于构建应用程序的大量工具。无论是像 Java 这样的老牌巨头，还是像 Go 这样的新兴公语言，应用程序都需要在部署后进行监视。在本文中，你将学习如何将Golang日志发送到ELK Stack和Logz.io。

通常可以通过查看其日志来了解应用程序的运行状况。但是，日志数据具有随时间呈指数增长的趋势。当更多应用程序部署并分布在多台服务器上时，尤其如此。 Elastic Stack 具有存储大量数据并快速，轻松地进行搜索的功能，在这里很方便。

在本文中，你将学习如何导入 Go 应用程序编写的日志。 Go 编程语言（也称为 Golang 或 GoLang）是一种相对较新的但成熟的通用编程语言，在编程社区和主要的云提供商中得到了广泛的采用。

在之前的文章 “使用 Filebeat 进行日志结构化”，我已经介绍了如果直接使用 Filebeat 把日志进行结构化。在那篇文章中，我们使用了 python 应用作为一个例子。在今天的例子中，我将以一个 Golang 的例子来进行展示。

 

GoLang 日志概述

你可以使用几种不同的选项从 Go 程序把日志写到文件。 其中之一是 Logrus 库，它非常易于使用，并具有编写信息丰富的日志并能够轻松将其发送到 Elasticsearch 所需的所有功能。

首先，通过在终端中运行以下命令来获取 logrus 软件包。这个包由于在谷歌的网站上，直接使用如下的语句将不能正确下载：

go get github.com/sirupsen/logrus

我们可以参阅文章通过设置代理的办法来进行安装：

# 启用 Go Modules 功能
export GO111MODULE=on
# 配置 GOPROXY 环境变量
export GOPROXY=https://goproxy.io

在 terminal 中打入上面的命令后，再打入如下的命令：

go get github.com/sirupsen/logrus

我们的 Go 程序非常之简单：

main.go

package main

import (
  "os"
  log "github.com/sirupsen/logrus"
)

func main() {

  log.SetFormatter(&log.JSONFormatter{
    FieldMap: log.FieldMap{
      log.FieldKeyTime:  "@timestamp",
      log.FieldKeyMsg:   "message",
    },
  })
  log.SetLevel(log.TraceLevel)

  file, err := os.OpenFile("out.log", os.O_RDWR | os.O_CREATE | os.O_APPEND, 0666)
  if err == nil {
    log.SetOutput(file)
  }
  defer file.Close()

  fields := log.Fields{"userId": 12}
  log.WithFields(fields).Info("User logged in!")

  fields = log.Fields{"userId": 12}
  log.WithFields(fields).Info("Sent a message!")

  fields = log.Fields{"userId": 12}
  log.WithFields(fields).Info("Failed to get a message!")

  fields = log.Fields{"userId": 12}
  log.WithFields(fields).Info("User logged out!")
}

上面是一个很简单的 Go 语言应用程序。此代码片段将打开一个用于写入的文件，并将其设置为 logrus记 录器的目标。 现在，当你调用log.Info（...）时，你记录的信息将被写入该文件。 但是，你也可以（可选）使用其他相关信息（例如用户标识符）来丰富日志数据，这些信息可以通过提供其他上下文来帮助解决问题。它将生成几个日志，并保存到一个叫做 out.log 的文件中。

我们可以使用如下的命令来进行运行：

go run main.go

我们可以查看当前目录下的文件：

$ pwd
/Users/liuxg/go/es_logs
$ go run main.go
liuxg:es_logs liuxg$ ls
main.go out.log

在上面，我们可以看到一个叫做 out.log 的文件。它的内容如下：

$ cat out.log 
{"@timestamp":"2020-10-16T14:37:44+08:00","level":"info","message":"User logged in!","userId":12}
{"@timestamp":"2020-10-16T14:37:44+08:00","level":"info","message":"Sent a message!","userId":12}
{"@timestamp":"2020-10-16T14:37:44+08:00","level":"info","message":"Failed to get a message!","userId":12}
{"@timestamp":"2020-10-16T14:37:44+08:00","level":"info","message":"User logged out!","userId":12}

从上面，我们可以看出来，这是一个非常结构化的日志。它具有 JSON 结构，因为在程序开始时设置了 JSON 格式化程序。 当该选项可用时，以 JSON 格式格式化日志可以更轻松地将它们发送到 Elasticsearch，而无需其他配置，因为 JSON 属性和值直接映射到Elasticsearch 中的字段。 相反，你必须告诉 Elasticsearch 如何从没有明显结构的文本日志中解析数据。

如此轻松地将日志写入 JSON 格式的文件中（并根据需要包含其他字段的可能性），使你处于将日志发送到 Elasticsearch 的良好位置。

Logrus

与几乎所有其他日志记录库一样，Logrus 允许您使用许多不同的严重性级别（包括信息，警告，错误等）来编写日志。 这是通过调用适当的函数（例如Info（））来完成的。 也可以配置最低级别。

例如，当你调用 log.SetLevel(log.TraceLevel) 时，将只写入级别为 trace 或更高级别的日志。由于 Trace 是最低级别，因此此调用指示你要写入所有日志，而不管它们的级别如何。 例如，可以将其更改为 log.InfoLevel 以忽略具有跟踪或调试级别的日志。

 

将 GoLang 日志运送到 ELK

将日志写入文件有很多好处。 该过程既快速又健壮，并且应用程序无需了解最终将最终用于日志的存储类型的任何信息。 Elasticsearch 提供了 Beats，可以帮助你从各种来源（包括文件）收集数据并将其可靠而有效地运送到 Elasticsearch。 一旦日志数据进 Elasticsearch，你就可以使用 Kibana 对其进行分析。

发送到 Elasticsearch 的日志数据需要解析，以便 Elasticsearch 可以正确构造它。 Elasticsearch 能够轻松处理 JSON 数据。 你可以为其他格式设置更复杂的解析。

我们在 filebeat 的安装目录下创建如下的文件：

filebeat_json.yml

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /Users/liuxg/go/es_logs/out.log
  json:
    keys_under_root: true
    overwrite_keys: true
    message_key: 'message'

processors:
  - decode_json_fields:
      fields: ['message']
      target: json
 
setup.template.enabled: false
setup.ilm.enabled: false
 
output.elasticsearch:
  hosts: ["localhost:9200"]
  index: "logs_json"
  bulk_max_size: 1000

请注意：你必须用你自己的路径替换上面的 paths。

我们使用如下的命令来把数据导入：

$ ls filebeat_json.yml 
filebeat_json.yml

$ ./filebeat -e -c ./filebeat_json.yml

在运行完上面的命令后，我们使用如下的命令来检查已经生产的索引 logs_json:

GET _cat/indices

上面的命令显示：

green  open .apm-custom-link               CO_6a4_ISAGSswWYjZrNjQ 1 0  0    0    208b    208b
yellow open logs_json                      Is-RVM33T920Ffd35I0ZUw 1 1  4    0   5.6kb   5.6kb
green  open .kibana_task_manager_1         PACoKKQ9SC6n7ui8YZe0DQ 1 0  6 1845 239.9kb 239.9kb
green  open .kibana-event-log-7.9.1-000001 hL1iRZ8cRX6qe4of7TPYMQ 1 0  1    0   5.5kb   5.5kb
green  open .apm-agent-configuration       w5BmEwunQ96q6KdABWW3pA 1 0  0    0    208b    208b
green  open .kibana_1                      Rnt_C5o5RquYYgkvBZ3xJQ 1 0 13    2  10.4mb  10.4mb

我们可以看见一个已经生成的 logs_json 索引。

我们可以使用如下的命令来检查它的内容：

GET logs_json/_search

上面的命令显示：

{
  "took" : 0,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 4,
      "relation" : "eq"
    },
    "max_score" : 1.0,
    "hits" : [
      {
        "_index" : "logs_json",
        "_type" : "_doc",
        "_id" : "mePsNXUBuukB9WUDNLdT",
        "_score" : 1.0,
        "_source" : {
          "@timestamp" : "2020-10-16T06:37:44.000Z",
          "userId" : 12,
          "input" : {
            "type" : "log"
          },
          "ecs" : {
            "version" : "1.5.0"
          },
          "host" : {
            "name" : "liuxg"
          },
          "agent" : {
            "type" : "filebeat",
            "version" : "7.9.1",
            "hostname" : "liuxg",
            "ephemeral_id" : "2c0b6672-cb9e-4074-bee4-c550622d273a",
            "id" : "a1e3e46b-ca14-457d-bbfb-97133166b5b9",
            "name" : "liuxg"
          },
          "level" : "info",
          "log" : {
            "offset" : 0,
            "file" : {
              "path" : "/Users/liuxg/go/es_logs/out.log"
            }
          },
          "message" : "User logged in!"
        }
      },
      {
        "_index" : "logs_json",
        "_type" : "_doc",
        "_id" : "muPsNXUBuukB9WUDNLdT",
        "_score" : 1.0,
        "_source" : {
          "@timestamp" : "2020-10-16T06:37:44.000Z",
          "ecs" : {
            "version" : "1.5.0"
          },
          "host" : {
            "name" : "liuxg"
          },
          "log" : {
            "offset" : 98,
            "file" : {
              "path" : "/Users/liuxg/go/es_logs/out.log"
            }
          },
          "level" : "info",
          "message" : "Sent a message!",
          "userId" : 12,
          "input" : {
            "type" : "log"
          },
          "agent" : {
            "hostname" : "liuxg",
            "ephemeral_id" : "2c0b6672-cb9e-4074-bee4-c550622d273a",
            "id" : "a1e3e46b-ca14-457d-bbfb-97133166b5b9",
            "name" : "liuxg",
            "type" : "filebeat",
            "version" : "7.9.1"
          }
        }
      },
      {
        "_index" : "logs_json",
        "_type" : "_doc",
        "_id" : "m-PsNXUBuukB9WUDNLdT",
        "_score" : 1.0,
        "_source" : {
          "@timestamp" : "2020-10-16T06:37:44.000Z",
          "message" : "Failed to get a message!",
          "input" : {
            "type" : "log"
          },
          "agent" : {
            "id" : "a1e3e46b-ca14-457d-bbfb-97133166b5b9",
            "name" : "liuxg",
            "type" : "filebeat",
            "version" : "7.9.1",
            "hostname" : "liuxg",
            "ephemeral_id" : "2c0b6672-cb9e-4074-bee4-c550622d273a"
          },
          "ecs" : {
            "version" : "1.5.0"
          },
          "host" : {
            "name" : "liuxg"
          },
          "log" : {
            "offset" : 196,
            "file" : {
              "path" : "/Users/liuxg/go/es_logs/out.log"
            }
          },
          "userId" : 12,
          "level" : "info"
        }
      },
      {
        "_index" : "logs_json",
        "_type" : "_doc",
        "_id" : "nOPsNXUBuukB9WUDNLdT",
        "_score" : 1.0,
        "_source" : {
          "@timestamp" : "2020-10-16T06:37:44.000Z",
          "level" : "info",
          "message" : "User logged out!",
          "userId" : 12,
          "input" : {
            "type" : "log"
          },
          "agent" : {
            "type" : "filebeat",
            "version" : "7.9.1",
            "hostname" : "liuxg",
            "ephemeral_id" : "2c0b6672-cb9e-4074-bee4-c550622d273a",
            "id" : "a1e3e46b-ca14-457d-bbfb-97133166b5b9",
            "name" : "liuxg"
          },
          "ecs" : {
            "version" : "1.5.0"
          },
          "host" : {
            "name" : "liuxg"
          },
          "log" : {
            "file" : {
              "path" : "/Users/liuxg/go/es_logs/out.log"
            },
            "offset" : 303
          }
        }
      }
    ]
  }
}

从上面我们可以看出来，我们已经成功地把日志导入到 Elasticsearch  中了。

Elastic 中国社区官方博客
关注
专栏目录
博客
Elasticsearch 开放推理 API 新增阿里云 AI 搜索支持
09-19 1399
我们很高兴地宣布，Elasticsearch 开放推理 API 新增了阿里云 AI 搜索的集成功能。此项工作使 Elastic 用户能够直接连接到阿里云 AI 平台。使用 Elasticsearch 向量数据库构建 RAG 应用程序的开发人员可以使用 semantic_text 存储和使用托管在阿里云 AI 搜索平台上的模型生成的密集和稀疏嵌入。此外，Elastic 用户现在可以集成访问重新排名模型，以增强语义重新排名和LLM 系列。
博客
Elastic 线下 Meetup 将于 2024 年 9 月 21 号在成都举办
08-29 1637
2024 Elastic Meetup 成都站活动，由 Elastic、腾讯、新智锦绣联合举办，现诚邀广大技术爱好者及开发者参加。
博客
Elastic：如何成为一名 Elastic 认证工程师，Elastic 认证分析师及 Elastic 认证可观测性工程师
10-28 2万+
Elasticsearch 无疑是是目前世界上最为流行的大数据搜索引擎。根据 DB - Engines 的统计，Elasticsearch 雄踞排行榜第一名，并且市场还在不断地扩大：能够成为一名 Elastic 认证工程师也是很多开发者的梦想。这个代表了 Elastic 的最高认证，在业界也得到了很高的认知度。得到认证的工程师，必须除了具有丰富的 Elastic Stack 知识，而且必须有丰富的操作及有效的解决问题的能力。拥有这个认证证书，也代表了个人及公司的荣誉。针对个人的好处是，你可以..
博客
Elastic：开发者上手指南
02-25 15万+
你们好，我是Elastic的刘晓国。如果大家想开始学习Elastic的话，那么这里将是你理想的学习园地。在我的博客几乎涵盖了你想学习的许多方面。在这里，我来讲述一下作为一个菜鸟该如何阅读我的这些博客文章。我们可以按照如下的步骤来学习：1)Elasticsearch简介：对Elasticsearch做了一个简单的介绍2)Elasticsearch中的一些重要概念:cluster, n..........................................................
博客
Elastic：培训视频 - ​在生产环境中配置 Fleet Server 和 Elastic Agent 之间的安全
01-06 1万+
在这篇文章中，我将会把我写的有些内容录制成视频，供大家参考。希望对大家有所帮助。优酷的视频频道地址在这里。Elastic 简介及Elastic Stack 安装：优酷，腾讯 Elastic Stack docker 部署：优酷，腾讯 Elasticsearch中的一些重要概念（Cluster/Shards/Replica/Document/Type/Index）：优酷，腾讯 开始使用El...............
博客
Elasticsearch 简介
08-08 17万+
Elasticsearch是一个非常强大的搜索引擎。它目前被广泛地使用于各个IT公司。Elasticsearch是由Elastic公司创建并开源维护的。它的开源代码位于https://github.com/elastic/elasticsearch。同时，Elastic公司也拥有Logstash及Kibana开源项目。这个三个开源项目组合在一起，就形成了 ELK软件栈。他们三个共同形成了一个强大的...
博客
Observability：构建下一代托管接入服务
09-21 790
随着无服务器（serverless）的引入，向 Elastic Cloud 发送可观察性数据变得越来越容易。你可以在中创建一个可观察性无服务器项目，并将可观察性信号直接发送到 Elasticsearch 或通过我们一直称之为托管接收服务（类似于 Elastic APM 服务器的完全托管解决方案）发送。你不再需要担心 APM 服务器的大小和配置。相反，你可以将数据直接发送到托管接收服务，让我们的平台为你完成艰难的扩展工作。
博客
LangChain 和 Elasticsearch 加速构建 AI 检索代理
09-20 1163
​Elastic 和 LangChain 很高兴地宣布发布新的 LangGraph 检索代理模板，旨在简化需要代理使用 Elasticsearch 进行代理检索的生成式人工智能 (GenAI) 代理应用程序的开发。此模板预先配置为使用 Elasticsearch，允许开发人员使用 LangChain 和 Elasticsearch 快速构建代理。要立即开始，请访问 github 上的项目：https://github.com/langchain-ai/retrieval-agent-template
博客
Elasticsearch：检索增强生成背后的重要思想
09-20 1499
星期天晚上 10 点，我九年级的女儿哭着冲进我的房间。她说她对代数一无所知，注定要失败。我进入超级妈妈模式，却发现我一点高中数学知识都不记得了。于是，我做了任何一位超级妈妈在 2024 年都会做的事情，前往 ChatGPT 寻求帮助。这些生成式 AI 聊天机器人太棒了。我很快就得到了关于如何解决她所有问题的详细解释。“但是妈妈，”她抱怨道，“我们不是这样做的！”如果我能让 ChatGPT 的答案与班级的特定做事方式保持一致就好了……
博客
Elasticsearch：一次生产集群 ES Watcher 失效的深度排查与分析 - 全过程剖析与解决方案
09-19 1269
Watcher是 Elasticsearch 提供的一项监控和告警服务，允许用户定义、管理警报规则，并持续跟踪网络和数据的变化。基于 Elasticsearch 的分布式架构，Watcher 可以对基础设施、索引数据、集群健康等多种指标进行实时监控和自动化告警。当预设条件被触发时，Watcher 会及时发送通知。这项功能特别适用于日志数据的监控、应用性能追踪，以及其他需要自动化响应的场景，帮助运维人员快速响应潜在问题，提升系统稳定性和可靠性。1）定时监控数据。
博客
Elastic 的 OpenTelemetry PHP 发行版简介
09-18 1245
宣布 OpenTelemetry PHP 的 Elastic 发行版的第一个 alpha 版本。在本篇博文中了解使用 OpenTelemetry 来检测 PHP 应用程序是多么简单。我们很高兴推出 OpenTelemetry PHP 的 Elastic Distribution 的第一个 alpha 版本。在这篇文章中，你将了解如何轻松安装和设置 PHP 应用程序的监控。
博客
Elasticsearch：Open Crawler 现已进入测试阶段
09-18 1796
今天，我们发布了 Open Crawler 0.2 版，该版本也已升级为测试版！Open Crawler 最初于作为技术预览版发布（0.1 版）。从那时起，我们一直在迭代产品并添加了几个新功能。要访问这些更改，你可以使用最新的 Docker 工件，或直接从 GitHub 存储库下载源代码。按照我们文档中的设置说明开始使用。
博客
Observability：日志管理的最佳实践 - 利用日志更快地解决问题
09-17 1098
在当今快速发展的软件开发环境中，高效的日志管理对于维护系统可靠性和性能至关重要。随着基础架构和应用程序组件的不断扩展和复杂化，运营和开发团队的职责也不断增加且越来越复杂。这篇博文概述了有效日志管理的最佳实践，以应对数据量不断增长、基础架构复杂以及快速解决问题的需求等挑战。
博客
Kibana：如何使用魔法公式创建具有影响力的可视化效果？（第 1 部分）
09-16 863
在上一篇博文《作为非设计师设计直观的 Kibana 仪表板》中，我们强调了创建直观仪表板的重要性。它展示了简单的更改（分组主题、更改类型图表等）如何对理解数据产生影响。在提供Kibana 数据分析或课程等课程时，我们强调了这篇博文以及这些更改如何帮助将重要信息带到表面。我喜欢一种互补的方法来实现这一目标：使用两种颜色将最高数据值与常见数据值区分开来。为了说明这个想法，我们将使用示例航班数据数据集。现在，让我们比较两个可视化，按航班总数排名前 10 个目的地国家。哪个可视化的影响更大？
博客
Observability：OpenTelemetry Java Agent Elastic 分布正式发布
09-15 1338
Elastic 宣布 OpenTelemetry (OTel) Java Agent 的 Elastic 发行版正式发布，这是一个与 OTel 完全兼容的代理，具有一组丰富实用的附加功能。随着 Elastic 继续致力于 OpenTelemetry (OTel)，我们很高兴地宣布) 正式上市。
博客
了解 BSI IT Grundschutz：使用 GenAI 搜索你的（私人）PDF 宝藏的秘诀
09-14 1106
有没有想过如何让多年来收集的文档可以通过语义而不是关键字进行搜索？处理充满有价值信息的 PDF 可能具有挑战性，尤其是在分块和创建跨多种语言的可搜索数据时。这篇博文将指导你将文档集合转换为 AI 驱动的语义搜索系统。我们将探索 Elastic 如何为 RAG 提供端到端解决方案：提取 PDF、将其处理成块、向量化内容，并提供一个交互式游乐场来查询和与数据交互。探索如何让你的信息不仅更易于访问，而且真正具有对话性。你将能够测试如何轻松创建相关信息摘要，了解每个给出的答案的相关性分数，并最大限度地了解创建答
博客
用于安全研究的 Elastic Container Project
09-13 1297
​Elastic Stack 是一个模块化数据分析生态系统。虽然这允许工程灵活性，但建立开发实例进行测试可能很麻烦。建立 Elastic Stack 的最简单方法是使用 Elastic Cloud - 这是完全一站式的。但是，在某些情况下，Elastic Cloud 可能不适用于你的测试环境。为了帮助解决这个问题，本博客将为你提供必要的信息，以便快速轻松地建立本地、完全容器化、TLS 安全的 Elastic Stack，并启用 Fleet 和检测引擎。你将能够创建 Fleet 策略，在本地主机或 VM 上
博客
使用 Elastic 和 LM Studio 的 Herding Llama 3.1
09-13 1940
最新的 LM Studio 0.3 更新使 Elastic 的安全 AI Assistant 能够更轻松、更快速地与 LM Studio 托管模型一起运行。在这篇博客中，Elastic 和 LM Studio 团队将向你展示如何在几分钟内开始使用。如果你在同一网络上或在你的机器上本地工作，则不再需要设置代理。
博客
Elastic 线上 Meetup “Elastic 认证及 Watcher 使用分享” 将于 9 月 18 号举办
09-13 678
Elastic 线上 Meetup “Elastic 认证及 Watcher 使用分享” 将于 9 月 18 号举办
博客
Elasticsearch 开放 inference API 为 Hugging Face 添加了原生分块支持
09-13 1347
​借助 Elasticsearch 开放推理 API，你可以使用 Hugging Face 的推理端点（Inference Endpoints）在 Elasticsearch 之外执行推理。这样你就可以使用 Hugging Face 的可扩展基础架构，包括在 GPU 和 AI 加速器上执行推理的能力。使用 Hugging Face 生成的嵌入的能力是作为 Elasticsearch 8.11 中的第一个开放推理 API 集成引入的，从那时起，我们一直在努力工作，并使用更强大的功能对其进行了更新，让您可以事
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值