使用集成分析体验，简化日志数据分析与管理

于 2025-03-06 11:01:34 发布
阅读量64 收藏
点赞数
文章标签： 数据分析 数据挖掘
原文链接：https://mp.weixin.qq.com/s?__biz=Mzg4NjU5NDUxNg==&mid=2247593642&idx=2&sn=a5420a2c3c588b818f22ee851428b9f5&chksm=ce1717b1324bd47133961c77e9ec0beb531b99b21c5ae146d24e5a94c504e428b02988389dca&scene=126&sessionid=0
版权

03ce0843ae6eb8a511bf11575cfa57cb.gif

Amazon CloudWatch与Amazon OpenSearch Service推出集成分析体验和zero-ETL集成，无需数据复制，简化日志管理同时降低技术开销和运营成本。

通过该集成，Amazon CloudWatch Logs客户在原先Amazon CloudWatch Logs Insights QL的基础上，还可以使用另外两种查询语言进行日志分析，Amazon OpenSearch Service客户无需任何ETL操作或构建单独摄取管道，即可直接查询Amazon CloudWatch日志，并运行SQL和PPL。

用户可以使用SQL分析数据，借助JOIN、子查询关联日志，以及使用SQL函数进行直观的日志分析。此外，客户还可利用OpenSearch PPL对数据进行过滤、聚合和分析。只需简单几步操作，即可为Amazon VPC、Amazon WAF和Amazon CloudTrail日志创建OpenSearch仪表盘，以便利用从日志中获得的可视化信息来监控、分析和排查故障。

工作原理

本文首先从Amazon CloudWatch控制台开始，展示Amazon CloudWatch中新的OpenSearch SQL和PPL查询功能。

在导航窗格中，选择“日志”，然后选择“日志洞察”。在为查询选择了日志组之后，可以直接在Amazon CloudWatch Logs Insights中使用OpenSearch PPL或OpenSearch SQL查询语言，无需任何额外的设置或集成。利用这一新功能，您可以使用熟悉的SQL语法或OpenSearch PPL编写复杂查询，使日志分析更加直观和高效。在“查询命令”菜单中，您可以找到示例查询帮您开始使用。

示例查询：

https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/CWL_QuerySyntax-examples.html

1c1e07965397b1969a496053cf56138b.png

此示例展示了如何使用SQL JOIN来合并来自两个日志组的数据：宠物领养和宠物可用。通过筛选特定的客户ID，您可以分析相关的日志记录并跟踪ID，以便排除故障。

对于Amazon CloudWatch Logs客户而言，此次集成的强大功能之一是能够为Amazon VPC Flows、Amazon CloudTrail和Amazon WAF日志创建预构建的仪表盘，本演示将通过为Amazon WAF日志创建一个仪表盘来探索这一功能。在“使用OpenSearch分析”选项卡中，选择“设置”并按照步骤操作。

22cf5f55ad2e5a2ef301eaf0e7a98bfb.png

几分钟后，集成准备就绪，点击“创建OpenSearch仪表盘”，在“选择自动仪表盘类型”选项中，选择“Amazon WAF日志”。

9e34c8e077a68391fd1a83f84fdf9b58.png

在“仪表盘数据配置”选项卡中，您可以选择“数据同步频率”为每15分钟一次。选择日志组并查看所选日志组的日志样本，最后选择“创建仪表盘”完成操作。

创建仪表盘后便可以查看日志，Amazon WAF日志仪表盘提供了对Web应用防火墙指标和事件的全面可见性，并配置了自动可视化功能，帮助您监控和分析安全模式。

6ac7f55ff5dfce2e7cb02dd25a8cdb00.png

同样，Amazon CloudTrail仪表盘可以深入洞察整个亚马逊云科技服务环境中的API活动，对于监控API活动、审核操作以及识别潜在的安全或合规性问题非常有用。

8d4175f85d89437d6874525bae516691.png

Amazon VPC Flow Logs仪表盘可详细展示网络流量分析日志中的关键指标，您可以分析网络流量、检测异常模式并监控资源使用情况。请注意，该仪表盘当前仅支持VPC v2字段（默认格式），不支持自定义格式字段。

6507be579c0618e8899ea74060b31143.png

通过zero-ETL，从Amazon OpenSearch Services即可访问Amazon CloudWatch数据，您还可以从Amazon OpenSearch Service控制台构建OpenSearch仪表盘，而无需构建和维护ETL流程。为此，您需要进入“集中管理”，然后选择新的“已连接的数据源”菜单，点击“选择连接”以创建新的已连接数据源，并选择“Amazon CloudWatch Logs”。

6a2435999c18ffd2028a1175971f03c5.png

下一步，命名数据源，并选择“创建新角色”，该角色必须具有在Amazon OpenSearch Service上执行操作的必要权限，您可以在“示例自定义策略”中查看这些权限。

5edd03eb69af1444990bc904a49d80c4.gif

在“设置OpenSearch”步骤中，选择“创建新集合”来为Amazon CloudWatch Logs配置OpenSearch数据连接。作为设置Amazon CloudWatch Logs源的一部分，会创建一个新的Amazon OpenSearch Service Serverless集合和Amazon OpenSearch UI应用程序，用于存储索引视图并提供用户界面来分析Amazon CloudWatch Logs数据。创建新集合并为其命名，在应用程序内配置了Amazon OpenSearch应用程序和工作区，设置数据保留天数后，选择“下一步”，完成“审查和连接”。

db598606618d6ac0db440d2b54f340b8.png

当与Amazon CloudWatch的集成准备就绪后，您可以选择“探索日志”（不包含索引数据），这将带您进入Discover中的查询界面，或者通过为Amazon VPC Flows、Amazon CloudTrail和Amazon WAF日志创建仪表盘来探索已提供的日志。

413c264317764eb84a60045f88990e34.png

选择“探索日志”后，Amazon OpenSearch UI会带您进入设置数据源时创建的应用程序工作区中的“Discover”。在“Discover”中，选择数据选择器并选择“查看所有可用数据”，以访问Amazon CloudWatch Logs数据源和日志组。

acc6d25ec59e377d2e9baef19cc1e94b.png

选择日志组后，您可以直接在Discover中使用OpenSearch SQL和PPL来分析Amazon CloudWatch日志，而无需在应用程序之间切换。

d9c4f02f2158cd4ac5cca4619c45b208.png

要创建仪表盘，您需要返回到控制台上的“已连接的数据源”概览页面。在该页面，选择“创建仪表盘”，以便直观地可视化分析Amazon CloudWatch数据，而无需像之前在Amazon CloudWatch控制台中定义查询或构建可视化效果。

97414c4be59a375db88630825d6032d3.png

仪表盘创建完成后，导航到Amazon OpenSearch资源，您可以看到新创建的索引正在用集合中的数据填充。获取数据后，您可以从配置中选择的Amazon  CloudWatch日志中的数据进入仪表盘，并且随着更多数据的传入，它几乎可以实时地显示在Amazon OpenSearch仪表盘上。

6026460115aeb6a9229b69c404546b49.gif

借助本次zero-ETL集成，您可以直接将数据摄入Amazon OpenSearch，利用其强大的查询能力和可视化功能，同时保持数据的一致性并降低运营成本。

功能亮点

对于Amazon CloudWatch用户，该集成功能的亮点主要体现在以下方面。

  • 查询功能：在Amazon CloudWatch Logs Insights控制台内中，直接使用OpenSearch SQL和PPL查询，简化日志调查流程。

  • 分析功能：只需点击几下，即可访问Amazon VPC、Amazon WAF和Amazon CloudTrail日志等预构建的开箱即用的专用日志仪表盘，这些仪表盘无需配置单个控件或构建特定查询，即可通过可视化分析流量随时间的变化、热门话题、兆字节和随时间传输的数据包等，加快监控和故障排除速度。

  • Amazon CloudWatch用户入门指南：关于配置Amazon CloudWatch Logs与Amazon OpenSearch Service的集成的详细信息，请参阅Amazon CloudWatch Logs查询功能和Amazon CloudWatch Logs提供的仪表盘文档。

Amazon CloudWatch Logs查询功能：

https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/AnalyzingLogData.html

Amazon CloudWatch Logs提供的仪表盘文档：

https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs//CloudWatchLogs-OpenSearch-Dashboards.html

对于Amazon OpenSearch Service客户，该集成功能的亮点主要体现在以下方面。

  • Zero-ETL集成：无需构建或维护ETL流程，即可直接从Amazon OpenSearch Service访问和分析Amazon CloudWatch数据。该集成功能消除了单独的摄取管道，并通过简化数据管理和零数据重复，来降低存储成本和运营成本。

  • Amazon OpenSearch Service用户入门指南：在Amazon OpenSearch Service中创建数据连接时，选择Amazon CloudWatch作为数据源。详细信息，请参阅Amazon OpenSearch Service开发者指南。

Amazon OpenSearch Service开发者指南：

https://docs.aws.amazon.com/opensearch-service/latest/developerguide/direct-query-s3.html

可用地区与定价

该集成体验现已在提供Amazon OpenSearch Service直接查询功能的亚马逊云科技区域中推出。有关定价详情和免费试用信息，您可以参阅Amazon CloudWatch定价和Amazon OpenSearch Service定价。

Amazon CloudWatch定价：

https://aws.amazon.com/cloudwatch/pricing/

Amazon OpenSearch Service定价：

https://aws.amazon.com/opensearch-service/pricing/

本篇作者

726fa80046a399cfefde85daef19b440.png

Elizabeth Fuentes

致力于化繁为简，激励开发者不断扩展自身技能和知识。通过会议、教程和在线资源，Elizabeth与全球开发者社区分享专业知识，为其提供有助于充分发挥开发者潜力的工具和信心。

f619ef9c0ad3ea4629437d9e192055da.png

e3b505ff9fc2b90935b0d6e6edae7411.gif

星标不迷路，开发更极速！

关注后记得星标「亚马逊云开发者」

听说，点完下面4个按钮

就不会碰到bug了！

0206e2af0758a622367ba9db8cce6d22.gif

点击阅读原文查看博客！获得更详细内容！

博客
企业DevOps探讨：“谁构建、谁运行”原则的理论基础
12-30 9442
“谁构建，谁运行” --沃纳·沃格尔这样的场景大家想必不会陌生：我们正与家人共度美好时光，突然刺耳的电话铃声嗡嗡响起，我们的注意力也为之吸引。听筒中的尖叫声告知，我们的应用程序——也就是那些定期受到内存泄漏侵扰、但重启之后又能恢复正常的小冤家们——现在终于彻底起义了，服务器资源在几分钟之内就被其彻底榨干。目前该应用已经无法正常起效，而运维团队除了尝试重启与回滚之外无法可想——而最新
博客
企业DevOps：实施过程中需要关注的各项要点
12-29 8067
作者：亚马逊云科技企业市场战略总监Stephen Orban“经验并非凭空创造，而是依靠点滴积累所实现” ---阿尔贝·加缪在此次的企业DevOps探索之旅系列文章当中，我将带大家一同探讨企业在具备一定DevOps经验之后又该如何处理下一步可能面临的状况。当然，这些只是我个人在接触自动化、面向客户服务之IT体系以及“谁构建、谁运行”方面事务的同时积累下的一些心得体
博客
将DevOps纳入企业环境引发的思考
10-13 6339
作者：亚马逊云科技企业市场战略总监Stephen Orban“发展是一种以渐进式改善为载体的持续性行为”——英德拉瓦蒂虽然DevOps可以算是相对新鲜的概念，不过在我看来、其本质思路很早之前就已经出现。从这个角度看，目前很多企业已经广泛接纳这一概念并将其作为文化性产物看待，具体而言就是将大量原本孤立的团队融合起来，从而实现速度更快、频率更高且更为可靠的工作成果。我个人非常幸运
博客
利用Amazon Machine Learning与Amazon Redshift建立二进制分类模型
09-07 8250
日常生活中的大部分决策都以二进制形式存在，具体来说就是这类问题能够以是或者否来回答。而在商业活动中，能够以二进制方式回答的问题也有很多。举例来说：“这种情况是否属于交易欺诈？”，“这位客户是否会购买该产品？”或者“这位用户是否存在流失风险？”等等。在机器学习机制中，我们将此称为二进制分类问题。很多商业决策都能够通过准确预测二进制问题的答案来得到强化。Amazon Michine Learning（
博客
利用Amazon Mobile Analytics与R深入探究移动应用的使用模式
08-31 6793
作者：Sandeep Atluri 亚马逊数据科学家要真正鼓励用户使用我们的移动应用程序，最重要的前提就是深入了解用户使用应用程序时的行为模式，而后据此作出体验优化。不过通过应用程序事件数据来找出有意义的模式往往极具挑战性，而标准KPI所提供的诸如月度活跃用户（简称MAU）以及每日活跃用户（简称DAU）并不足以勾勒出完整的图景。举例来说，所发布应用在过去三十天中的用户开启次数能够帮
博客
亚马逊云科技使用心得：当初我曾错过的那些宝贵经验
07-08 2万+
在今天的文章中，我整理出了大量当初曾经错过、而至今仍将我追悔莫及的亚马逊云科技（Amazon Web Services）使用心得。在几年来的实践当中，我通过在亚马逊云科技之上新手构建及部署各类应用程序而积累到了这些经验。虽然内容有些杂乱，但相信仍然能给各位带来一点启示。从物理服务器向“云环境”转移的过程不仅仅是一项技术任务，同时也意味着我们的思维方式需要作出针对性的转变。总体而言，在物理环境下我们
博客
提升研发运维效能：Pacvue 泊客电商的 GenAI 技术实践
05-09 396
Pacvue 是唯一一个为整个市场提供统一商务和零售媒体平台的解决方案——从小型到中型卖家，直至企业品牌都能受益。自 2018 年以来，Pacvue 的使命一直是在不断发展的商务和零售媒体格局中，提供领先的解决方案，以加速品牌的成功。Pacvue 泊客电商官网Amazon Bedrock 是一项完全托管的服务，通过单个 API 提供来自 AI21 Labs、Anthropic、Cohere、Meta、Mistral AI、Stability AI 和 Amazon 等领先人工智能公司的高性能基础模型（FM）
博客
Amazon Q 从入门到精通 – 快速实战篇
05-08 556
到此，开发者使用 Amazon Q 得到了基本的功能，并已经实际运行和测试通过之后，因为实际上这还只是一段“玩具”代码，通常距离达到生产级别的代码要求还有些距离，需要进行一定的重构，比如，这个 S3 上传功能，需要包装为一个 python 的类，便于进一步使用。以下是几个简单的例子帮助您来感受它的用法。其中，灰色的部分，是 Amazon Q 预测出来的代码，在前端应用中，这种控件的隐藏和显示，是很琐碎的例行编码工作，Amazon Q 会很“聪明“地感知并替你完成，大大节约开发人员的时间。
博客
构建基于LLM的智能翻译工作流，翻译效率快人一步！
05-07 13
最后，基于直译和问题反馈，翻译者进行意译，以确保翻译内容不仅准确无误，而且流畅自然，同时平衡直译的忠实原文和意译的适应目标语言文化，以达到高质量的翻译效果。，增强版翻译保证了内容完整，同时为了方便读者理解，尝试提供更多的法律和规定细节，但可能引入了原文中未提及的内容，例如“保证临床试验数据的真实性、可靠性和追溯性”这样的描述性语言。模型进行翻译，增强版在简单翻译后进一步优化，专家型则在初步翻译后，根据目标国家的条件可能加入专家意见，最后进行二次翻译以确保专业性，所有工作流最终都会输出翻译结果。
博客
斯曼森携手亚马逊云科技，使用 Amazon Nova 打造中文法律大模型
05-07 751
随着近年来 AIGC 相关技术的发展和成熟，各行各业对智能化解决方案，尤其是 AI 相关的新一代智能方案需求的不断增加，斯曼森意识到生成式 AI 在整体智能化方案中的重要地位，构建从底层大语言模型到上层 AI 应用的全栈技术能力是提升其竞争力的重要一步。在过去的一年中，斯曼森自行研发了法律领域的“鳀鲸”法律模型以及与其配套的法律服务平台，并为多家工业、教育行业的客户开发、部署了定制化 AI Agent 应用方案。通过与亚马逊云科技的紧密合作，斯曼森成功构建了一个专门针对法律行业的大型语言模型。
博客
利用Amazon Bedrock，阅文集团实现智能文本处理质的飞跃
05-06 11
同时，随着潜在提示词变体数量的增加，最佳提示词的搜索空间呈指数级增长，即使对于中等复杂度的提示词，手动探索所有组合也变得不可行。通过使用Amazon Bedrock Prompt Optimization，阅文集团在智能文本分析的任务的结果上有了极大的提升，比如在“部分角色分析”的任务中，优化后的提示词可以达到90%的准确率，超过了传统NLP模型。经验，难以充分发挥LLM的潜力。例如，在“角色分析”的任务中，传统NLP模型可以达到约80%的准确率，而未经过精心设计提示词的LLM的准确率仅为70%左右。
博客
基于 Amazon Bedrock 的电商行业图片检索解决方案
05-06 819
电商细分品类图片精准检索能力1、用户可自定义提示词利用大模型生成对图片的描述信息，提升偏向性的检索召回效率；2、可自定义提示词对召回图片进行重新排序，更加精准地检索图片；3、亚马逊云科技架构师团队可提供提示词参考，帮助不同品类客户要求定制，进一步检索能力。使用业内先进低成本的大模型及存储服务1、 默认使用 Amazon Titan Multimodal Embeddings 模型，可将图片、文本在一个向量空间中向量化，提升联合文本和图片检索能力；
博客
马铃薯叶片“开口说话”？DeepSeek+微调视觉模型识别农业病害
05-05 10
例如，针对病害特定纹理设计小尺寸卷积核捕捉细节，根据病害区域分布调整池化步长和区域大小，更精准提取关键特征，有效提升对不同健康状况叶片的识别能力，满足多样化检测需求。另一方面，运用更高效的模型训练算法和优化策略，如自适应学习率调整、正则化技术等，在保证模型准确性的同时，降低训练与推理成本，推动马铃薯叶片健康检测模型向更高效、更智能的方向发展。目前训练数据量相对较少，尽管微调后的模型在测试集上取得了较好效果，但模型可能存在泛化能力不足的问题，在面对复杂多变的实际场景时，稳定性和准确性可能受到影响。
博客
微调Amazon Nova模型，优化工具使用体验
04-30 8
数据集中的每一项均以.json对象的形式呈现，其中包含键值对，用于定义问题（即用户以自然语言向模型提出的查询）、回答用户查询所需的真实工具、该工具的参数（包含执行工具所需参数的字典），以及一些附加约束条件，例如。，他们在生成式AI领域拥有全面的专业知识，覆盖从规划到落地的全流程，致力于帮助客户确定用例优先级、制定发展路线图，并将解决方投入生产环境，如需了解其最新的工作成果和客户成功案例，参阅生成式AI创新中心页面。如果预测的工具与真实工具匹配，则得分为1，若不匹配，则得分为0。具体需包含以下要素。
博客
浅谈如何使用 Amazon CUR 报告做更完善的成本分析
04-30 656
自动刷新」也需要打开，因为亚马逊云科技账单有两个状态，一个是未结算状态（Unfinalized），一个是已结算状态（Finalized），在正式结算之前，可能会发生退款等费用变化，所以我们需要打开自动刷新，在账单发生变化时，让账单服务帮我们自动更新 CUR 报告的文件。希望通过这篇博客，更多的客户可以更深入的了解自己的云用量，监控自己的云用量变化，知道自己的每分钱是否花在了正确的位置，也知道出现意外成本时如何来做梳理和优化。是的，CUR 仍然有一定程度的汇总，但是粒度已经足够小，足够我们做分析。
博客
使用 Amazon Nova Lite 实现多快好省的智能视频审核
04-29 636
由以上的测试和分析可以看到，Nova Lite 在多方面的优势使其成为构建智能视频审核系统的理想选择。首先，Nova Lite 在图片理解能力上表现出色，能够准确识别图片中的人物、服饰、场景等元素，并可以通过 Prompt 根据不同文化背景调整审核规则。这一能力在处理全球用户上传的视频内容时尤为重要。相比之下，Rekognition 则难以适应多元文化背景下的复杂审核需求，需要客户化的再次训练才能满足要求。其次，Nova Lite 在处理速度方面可以满足需求。
博客
GitLab Duo with Amazon Q现已推出！
04-28 6
无论是将Java代码从版本8或11升级到17、获取AI驱动的代码审查建议、自动生成全面的测试用例，还是将创意转化为完整的合并请求，Amazon Q都能在每个环节提供支持。Amazon Q智能体具备适当的防护机制，既帮助客户满足合规要求，又不影响开发速度，同时依托亚马逊云科技的云基础设施，让您安心扩展AI增强的开发工作流。在本例中，资源是合并请求，但也可以是您想要解释的GitLab任务，或是代码库中某个代码文件的摘要。，将合并请求发送给Amazon Q，它会识别合并请求中代码变更相关的安全和质量风险。
博客
大胆试错、持续推进，拓展 GenAI 在客户服务领域的新场景
04-28 983
提升客户服务效率与质量是企业永恒的追求目标。2024 年初，我们与客户（华宝新能）的产品、IT、客服团队共同探讨如何借助新兴的生成式 AI（Generative AI, GenAI）技术赋能客服团队，期望通过自动化总结和提炼现有知识库内容，高效应对产品咨询、故障处理等售前售后需求，提供智能响应。经过系统集成及知识库数据准备，一阶段方案于 2024 年中期顺利上线，客服团队工作效率显著提升。相关实施细节已在。
博客
打造安全无忧的MCP解决方案
04-27 44
通过理解MCP架构、识别潜在威胁，并在亚马逊云科技上部署强大的安全防护措施，企业可以在降低风险的同时，安全利用这一强大协议。MCP的架构设计要求在AI模型与外部工具之间共享数据，这引发了人们对于潜在的数据泄露以及隐私侵犯问题的担忧。本文将深入剖析MCP的技术架构，探讨潜在的安全威胁，评估适用于亚马逊云科技的实施方案，并提供切实可行的风险缓解策略。与外部工具及数据源的重要方式，了解在亚马逊云科技中部署MCP所带来的安全影响尤为重要。亚马逊云科技提供了多种服务和工具，有助于保障MCP实现方案的安全性。
博客
利用MCP Servers，玩转Amazon S3元数据表数据洞察
04-25 81
这就是Amazon S3元数据和Amazon S3元数据表发挥作用的地方，这些强大的工具允许组织有效地组织、跟踪和查询大规模的对象元数据。提供了一种标准化的方式，将您的设备连接到各种外设和配件，MCP提供了一种标准化的方式，将AI模型连接到不同的数据源和工具。通过利用预构建的集成、享受提供商切换的灵活性，以及遵循数据保护的最佳实践，您可以更轻松地实现您的AI项目目标。您还可以去添加新的工具，例如允许应用程序根据自定义的元数据条件发现Amazon S3内容。这些表提供了一种强大而灵活的方式来查询和分析您的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值