态势感知日志分析 - 一行命令导出日志

最新推荐文章于 2024-01-20 15:27:43 发布

weixin_34228387

最新推荐文章于 2024-01-20 15:27:43 发布

阅读量1.1k

点赞数

文章标签： python

原文链接：https://yq.aliyun.com/articles/647399

版权

背景

目前，阿里云态势感知与日志服务打通，对外开放平台依赖或者产生的日志，包括网络、主机、安全三大类共14种子类日志。提供近实时的日志自动采集存储、并提供基于日志服务的查询分析、报表报警、下游计算对接与投递的能力。

本文介绍如何导出日志以便在某些场景下使用。

导出日志到本地

这里介绍如何使用阿里云日志服务的命令行工具（CLI）导出态势感知的相关日志到本地。

命令行准备工作

安装命令行工具（CLI）
准备一台可以连上阿里云的机器，通过命令行安装CLI：

pip install -U aliyun-log-cli
如果遇到网络或者其他按照问题，可以参考文档。

获取当前账户的秘钥
点击阿里云控制台右上角的登录图标，选择accesskeys，

点击警告的确认后，在秘钥列表中，选择一个没有过期的秘钥，点击显示查看并复制秘钥的ID和Key

注意：记录的秘钥请特别注意安全，推荐使用子账号秘钥的方式进行管理。

配置命令行的账户秘钥

aliyunlog configure 秘钥ID  秘钥Key 区域路径

注意： 其中区域路径取决于您的态势感知的区域，并且根据您运行命令所在的环境，有一些变化：

态势感知区域	运行命令行所处环境	区域路径
国内	任意机器	`cn-hangzhou.log.aliyuncs.com`
国内	杭州区域的ECS上	推荐 `cn-hangzhou-intranet.log.aliyuncs.com` 性能更佳
马来西亚	任意机器	`ap-southeast-3.log.aliyuncs.com`
马来西亚	吉隆坡区域的ECS上	推荐 `ap-southeast-3-intranet.log.aliyuncs.com` 性能更佳

获取日志服务的项目名和日志库名
进入态势感知的控制台，进入日志分析后，可以看到日志服务的项目名称和日志库名：

可以看到，这里项目名称（Project）是：sas-log-阿里云账户ID-cn-hangzhou，日志库名（Logstore）是：sas-log。

操作步骤

使用命令行，进入想要下载日志的存储的目录，例如dump_data：

cd dump_data

执行CLI命令：

aliyun log pull_log_dump --project_name="项目名" --logstore_name="sas-log" --from_time="2018-01-24 16:00:00+8:00" --to_time="2018-01-24 17:00:00+8:00" --file_path="./dump_{}.data"

这里拉取从时间2018-01-24 16:00:00+8:00到2018-01-24 17:00:00+8:00并把数据下载本地。

下载完成
下载完后会显示下载的文件列表以及日志数，例如：

{"files": {"./dump_1.data": 75, "./dump_2.data": 14}, "total_count": 89}

因为是并发下载，所以会存储在多个文件中，文件名根据/data/dump_{}.data中的{}替换成多个并发的数字（一般是分区号）。文件的内容格式为一行一个日志，例如：

{"k1":"a1", "k2":"a2"}
{"k1":"b1", "k2":"b2"}
...

进一步参考

进一步参考相关最佳实践：