堆栈信息获取value_Data Lake系列：EKK 优化堆栈你了解多少？

最新推荐文章于 2021-11-12 15:44:04 发布
最新推荐文章于 2021-11-12 15:44:04 发布
阅读量185 收藏
点赞数
文章标签： 堆栈信息获取value
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_36255517/article/details/112639417
版权

8fe4bb3773eb89e5e1a3c36980fa9bac.png

2016 年，AWS 推出了EKK 堆栈（Amazon Elasticsearch Service、Amazon Kinesis 和 Kibana），作为 ELK（Amazon Elasticsearch Service、开源工具 Logstash 和Kibana）的替代品，用于提取和可视化 Apache 日志。EKK 堆栈的主要功能之一是通过 Amazon Kinesis Firehose 代理处理数据转换。在本文中，我们将介绍如何优化 EKK 解决方案 — 通过 AWS Lambda 处理Amazon Kinesis Firehose 中的数据转换。

在 ELK 堆栈中，Logstash 集群处理 Apache 日志的解析。但是，必须设计和维护 Logstash 集群以进行扩展管理。此类服务器管理需要在用户方面进行大量繁重的工作。借助 Amazon Kinesis Firehose、AWS Lambda 和Amazon Elasticsearch Service (本文有时简称为Amazon ES或ES)，EKK 解决方案无需再进行此项工作。

解决方案概览

让我们来看看 EKK 优化解决方案的组件和架构。

Amazon Kinesis Firehose

Amazon Kinesis Firehose 提供了将流数据加载到 AWS 的最简单方法。在此解决方案中，Firehose 帮助捕获并自动将流日志数据加载到Amazon ES，并在 Amazon S3 中将其备份。有关 Firehose 的更多信息，请参阅什么是 Amazon Kinesis Firehose？

AWS Lambda

AWS Lambda 允许您在无预置或管理务器的情况下运行代码。它通过运行响应每个触发器的代码自动扩展应用程序。您的代码并行运行并单独处理每个触发器，并根据工作负载的大小进行精确扩展。在 EKK 解决方案中，Amazon Kinesis Firehose 调用 Lambda 函数来转换传入的源数据，并将转换后的数据传输到托管的 Amazon ES 集群。有关 AWS Lambda 的更多信息，请参阅https://amazonaws-china.com/documentation/lambda/%22%20%5Cl%20%22http://docs.aws.amazon.com/lambda/latest/dg/welcome.htmlAWS Lambda 文档。

Amazon Elasticsearch Service

Amazon ES 是一种流行的搜索和分析引擎，可提供实时应用程序监控以及日志和点击流分析。在此解决方案中，Apache 日志在 Amazon ES 中存储并编制索引。作为托管服务，Amazon ES 易于在AWS 云中部署、操作和扩展。使用托管服务可以消除管理开销，包括补丁管理、故障检测、节点替换、备份和监控。由于 Amazon ES 包含与 Kibana 的内置集成，因此无需安装和配置该平台，从而进一步简化了流程。有关 Amazon ES 的信息，请参阅什么是 Amazon Elasticsearch Service？

Amazon Kinesis 数据生成器

此解决方案使用 Amazon Kinesis 数据生成器 (KDG) 生成 Apache访问日志。KDG 可以轻松模拟 Apache 访问日志，并演示解决方案的处理流程和可扩展性。

架构

下图显示了 EKK 优化堆栈的架构。

79e53a740600d48fb2a2fd6a3dd5263a.png

配置 EKK 优化堆栈

本节介绍设置 EKK 优化解决方案的步骤。（请在想要的任何区域进行设置。）

创建用于数据转换的 AWS Lambda 函数

Firehose 提供以下 Lambda 蓝图，您可以使用它们创建用于数据转换的 Lambda 函数：

  • 常规 Firehose 处理：包含数据转换和状态。将此蓝图用于任何自定义转换逻辑。
  • Apache Log 到 JSON：使用预定义的 JSON 字段名称解析Apache 日志行并将其转换为 JSON 对象。
  • Apache Log 到 CSV：解析 Apache 日志行并将其转换为 CSV格式。
  • Syslog 到 JSON：使用预定义的 JSON 字段名称解析并将Syslog 行转换为 JSON 对象。
  • 系统日志到 CSV：解析 Syslog 行并将其转换为 CSV 格式。

在 AWS Lambda 控制台中，通过选择 kinesis-firehose-apachelog-to-json 蓝图来创建新的 Lambda 函数。将 Lambda 函数的超时设置为一分钟。

将 Amazon ES 和 Amazon CloudWatch Logs 的完整访问策略附加到 Lambda 函数。通过附加 Amazon ES 权限，可以允许 Lambda 函数在 Amazon ES 集群中写入日志。CloudWatch Logs 访问将帮助您监控 Lambda 功能。

设置 Elasticsearch 集群

在 Amazon ES 控制台中创建 Amazon ES 域，或在 AWS CLI 中使用 create-elasticsearch-domain 命令。

此示例使用以下配置：

  • 域名： LogESCluster
  • Elasticsearch 版本：1
  • 实例计数：2
  • 实例类型：medium.elasticsearch
  • 启用专用主控：true
  • 启用区域感知：true

其他设置保留为默认值。

设置 Firehose 传输流并链接关联 Lambda 函数

在 Firehose 控制台中，使用 Amazon ES 作为目标创建新的传输流。在配置部分中，启用数据转换，并选择从蓝图创建的通用 Firehose 处理 Lambda 函数。

有关此过程中的详细步骤，请参阅创建到 Amazon Elasticsearch Service 的 Firehose 传输流。

2ea966e3d0d56a7c9aca5690fb88fb11.png

创建 Amazon Cognito 用户并登录 KDG

在将数据发送到 Amazon Kinesis 之前，您必须在 AWS 账户中创建一个拥有 Amazon Kinesis 访问权限的 Amazon Cognito 用户。为简化此过程，提供 Lambda 函数和 AWS CloudFormation 模板来创建用户并分配使用 KDG 的足够权限。如需了解更多信息，请参阅 KDG 帮助页面。

您可以通过单击以下链接来创建 CloudFormation 堆栈。通过此链接，您将进入 AWS CloudFormation 控制台并启动堆栈创建向导。

使用 AWS CloudFormation 创建 Amazon Cognito 用户

为将用于登录 Amazon Kinesis 数据生成器的用户提供用户名和密码。其他选项接受默认值。

创建 CloudFormation 堆栈后，必须使用一个特殊 URL 访问 Amazon Kinesis 数据生成器。AWS CloudFormation 会在堆栈生成过程中创建此 URL。如需获取 URL，请选择 CloudFormation 堆栈，然后选择输出结果选显卡，如以下屏幕截图所示。在浏览器中为此 URL 添加书签，以便轻松访问 KDG。

9f9066ac4a2bd680c6652daa1d9e99e7.png

单击 URL，并使用您在设置 CloudFormation 堆栈时提供的用户名和密码登录 KDG。

为 Apache 访问日志设置 KDG 记录模板

Amazon Kinesis 数据生成器可使用基于提供模板的随机数据生成记录。记录模板可以是任何类型：JSON、CSV 或非结构化。KDG 基于模板创建唯一记录，用实际数据替换模板记录。

以下显示了 Apache 日志的模板：

{{internet.ip}} - - [{{date.now("DD/MMM/YYYY:HH:mm:ss ZZ")}}] "GET /index.html HTTP/1.1" 200 104 "-" "ELB-HealthChecker/1.0"

在KDG中，将每秒记录数设置为 100。

要启动数据流，请选择将数据发送到 Amazon Kinesis。

数据转换

以下显示转换前的 Apache 日志：

0b9dabdd2be572f209657cdc90c553d4.png

以下显示转换后的 Apache 日志：

"fields": { "request": [

"GET /index.html HTTP/1.1"

],

"@timestamp": [ 1493632590000 ],

"bytes": [ "104" ],

"response": 200

"host": [ "29.244.247.116" ],

"@timestamp_utc": [1493657790000] },

}

Amazon S3 中的文件备份

原始文件在 Amazon S3 中备份。以下显示 Amazon S3 控制台。

e06d31ae362c524ab210e275f5622ee8.png

监控 Firehose 传输流并对其进行故障排除

Amazon Kinesis Firehose 控制台可帮助您监控数据传输和数据转换并对其进行故障排除。

45e520d5c0caa188a70bc69e5b7a4626.png

以下屏幕截图显示了向 Amazon S3 和 Amazon ES 传输日志的详细信息。请注意，将日志传输到 Elasticsearch 集群时出现错误。

b133b817fa67fa6a5b1ca3ac4c782590.png

为 Elasticsearch 集群设置 Kibana

Amazon ES 为每个 Amazon ES 域默认安装 Kibana。您可以在 Amazon ES 控制台中的域控制面板上找到 Kibana 终端节点。（您可以将 Amazon ES 限制为基于 IP 的访问策略。）

在 Kibana 中，对于索引名称或模式，输入logdiscovery。这是您为 Web 服务器访问日志创建的 Amazon ES 索引的名称。

在时间字段名称列表中，选择 @timestamp_utc。

903eed36cc41e5185f13b10c929e74cf.png

在 Kibana 控制台上，选择左侧的发现选项卡以查看 Apache 访问日志。

cbe0d48f46926abfd9c7ef0a3b14c67f.png

小结

本博文描述了如何使用无服务器架构转换和发布 Apache 日志。Firehose 和 AWS Lambda 会根据应用程序生成日志的速率自动扩大或缩小。您可以增加 Amazon Kinesis 数据生成器中的每秒记录数，以轻松测试此解决方案的端到端可扩展性。该解决方案解决了 Logstash 中遇到的挑战 — 即难以管理的扩展和繁琐的集群管理。

要了解有关扩展 Amazon ES 集群的更多信息，请参阅 Amazon Elasticsearch Service 开发人员指南。

Amazon Kinesis Firehose、AWS Lambda 和 Amazon ES 等托管服务简化了日志聚合系统的配置和管理。可使用 AWS Lambda 对流日志数据运行转换和添加任何自定义转换逻辑，从而进一步强化了使用 EKK 优化堆栈的案例。

更多内容请点击：

使用 Amazon Kinesis Firehose、AWS Lambda 和 Amazon Elasticsearch Service 摄取、聚合和可视化 Apache 日志的无服务器扩展 | Amazon Web Services​amazonaws-china.com
1d6b4f570779306f6339bb06833e3424.png
Goby219
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大模型应用开发技术： 为聊天机器人添加内存（三）
段智华的博客
06-20 347
LangGraph为聊天机器人添加内存
kibana 日志查询技巧_Kibana技巧与窍门：如何在“发现”模式下查看事件
cullen2012的博客
09-09 9569
kibana 日志查询技巧 Hi Habrausers! 您好Habrausers！ As you may know Kibana is a visualization instrument, part of 您可能知道，Kibana是一种可视化工具，是ELK (Elastic, Logstash, Kibana) stack. With the help of Kibana you ma...
jvm线程堆栈信息收集
de0414的专栏
09-19 204
1：其中jmap是java自带的工具 查看整个JVM内存状态 jmap -heap [pid]要注意的是在使用CMS GC 情况下，jmap -heap的执行有可能会导致JAVA 进程挂起 查看JVM堆中对象详细占用情况jmap -histo [pid] 导出整个JVM 中内存信息jmap -dump:format=b,file=文件名 [pid]jmap -dump:live,f...
一分钟了解ELK堆栈
youngpeople_的博客
11-12 2060
ELK堆栈由三个开源产品组成——Elasticsearch、Logstash和Kibana from Elastic。 Elasticsearch是一个基于Lucene搜索引擎的NoSQL数据库。 　　　　Logstash是一个日志管道工具，它接受来自不同来源的输入，执行不同的转换，并将数据导出到不同的目标。它是一个动态的数据收集管道，具有可扩展的插件生态系统和强大的弹性搜索协同作用 　　　　Kibana是一个可视化UI层，工作在Elasticsearch之上。 这三个项目一起用于各种环境中的日志分析。因
elkstack:Elasticsearch，Logstash和Kibana堆栈
04-13
麋鹿 Elasticsearch，Logstash和Kibana堆栈。 根据社区的建议，目前我们还没有使用Logstash的嵌入式Elasticsearch功能。 本菜谱提供了所有三个组件的配方，以及包装配方（例如single配方或cluster配方），以促进不同的用例。 该堆栈的设计旨在用于一个或多个独立节点，并具有完整的Elasticsearch，logstash和kibana堆栈。 一个节点与多个节点之间的唯一区别是，elasticsearch聚集在一起。 分发到特定节点上的Logstash的数据将使用本地elasticsearch传输接口将这些日志索引到该节点（因此也索引到群集）。 在任何节点上的端口80上分派到Kibana的HTTP流量也将使用本地elasticsearch HTTP接口来获取和处理数据。 请阅读各个配方摘要，以了解每个配方的作用以及每个包装器配方实际包装的内
ELK技术栈系列- Logstash(四) 如何在 Kibana 中查看日志信息
奥迪的博客
10-15 4252
如何在 Kibana 中查看日志信息 1 使用命令方式查看 可以直接在 Dev Tools 中输入命令查看日志信息。 输入： GET test_log/_search 查看全部。 2 是 Kibana 界面查看 进入到 Kibana 后按图所示点击。创建索引表达式 选择没有时间过滤后，点击“Create index pattern”按钮 点击菜单中 Discover，选择右侧 test_log 每条日志在 Elasticsearch 中存储形式 IDEA 中控制台.
AWS EKK架构
dfenwc7605的博客
09-21 232
https://amazonaws-china.com/cn/blogs/devops/from-elk-stack-to-ekk-aggregating-and-analyzing-apache-logs-with-amazon-elasticsearch-service-amazon-kinesis-and-kibana/ 转载于:https://www.cnblogs.com/y...
ek-lm3s8962.rar_EK-LM3S8962_LM3S8962 工程模板_ekk-lm3s8962_iar lm 8
09-14
"EK-LM3S8962"是TI提供的开发板，也称为EKK-LM3S8962，它为开发者提供了实验和原型设计的硬件平台。这个压缩包中的"工程模板"是指用于IAR和KEIL集成开发环境（IDE）的项目文件，便于用户快速启动LM3S8962的应用开发...
kk.rar_706kk com_www.706kk.com
最新发布
09-23
【标签】"706kk_com www.706kk.com" 这两个标签进一步强调了这个压缩文件与706kk.com网站的联系，可能是该网站的一个特色服务或下载产品，用户可以通过访问网站来获取更多相关信息或支持。 从压缩包子文件的文件...
c 语言 最牛c语言程序
07-22
q#'r}eKK#}w'r}eKK{nl]'/#;#q#n'){)#}w'){){nl]'/+#n';d}rw' i;# \ ){nl]!/n{n#'; r{#w'r nc{nl]'/#{l,+'K {rw' iK{;[{nl]'/w#q#n'wk nw' \ iwk{KK{nl]!/w{%'l##w#' i; :{nl]'/*{q#'ld;r'}{nlwb!/*de}'c \ ;;{nl'-{}...
logstash 收集堆栈日志
qq_36270681的博客
08-25 687
#编辑Logstash配置文件 [root@elkstack03 ~]# vim /etc/logstash/conf.d/java.conf input { stdin { codec => multiline { #当遇到[开头的行时候将多行进行合并 pattern => "^\[" #true为匹配成功进行操作，false为不成功进行操作 negate => true #与上面的行合并，如果是下面的行合并就是next .
获取完整的堆栈信息
LuisChen的博客
05-22 1723
String fullStackTrace = org.apache.commons.lang.exception.ExceptionUtils.getFullStackTrace(e) Thread.currentThread().getStackTrace();
如何正确地打印异常堆栈信息
热门推荐
不积跬步，无以至千里
11-11 2万+
前言 最近老大让我修改项目里所有和log有关的代码，之前我也用过log4j、slf4j或者Logback等日志框架/接口，一直以为打印异常信息就是简单地一句log.info()或者log.error()而已，没想到原来一直都使用错了，以至于有些错误信息没能在log文件中打印出堆栈信息，最终难以定位bug，排查困难。 如何正确地打印异常的堆栈信息？ 一般在catch到异常的时候，不要使用e.prin...
ValueStack讲解
荒的博客
07-21 363
ValueStack称为值栈，有两个区域，一个内容（Content）区域，一个为上下文环境（Context）区域 值栈是控制器向前端页面传递数据的通道,在前端页面中就可以利用EL或者OGNL表达式读取ValueStack的值 案例如下（在struts中）： package cn.tedu.web; import java.util.ArrayList; import java.util....
在Kibana中进行监视的配置
一只洒鹿
08-09 1万+
在Kibana中配置监视 Configuring Monitoring in Kibana X-Pack监控使您可以深入了解弹性堆栈的操作。 有关更多信息，请参阅X-Pack监视和监视弹性堆栈。 监控Kibana：To monitor Kibana: 1.验证生产群集上的xpack.monitoring.collection.enabled设置是否为true。 如果该设置为false（默认值...
java收集内存堆栈信息命令
蓝不蓝编程
05-20 1206
 HPROF详解
ELAN eKK8011E USB & PS/2 Keyboard Encoder Datasheet
"ekk8011 Datasheet 是一份关于义隆电子(eLAN Microelectronics Corp.)生产的键盘扫描芯片eKK8011E的产品规格说明书。该芯片支持USB和PS/2接口，用于编码键盘输入。" 这篇文档详细介绍了eKK8011E芯片的功能、接口...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值