DataKit 使用

1. DataKit 使用

DataKit is collection agent for Guance Cloud.

1.1. 网站

• Console(工作空间): https://console.guance.com/
• 源码: https://github.com/GuanceCloud/datakit

1.2. 常用脚本

1.2.1. 常用命令

cat /var/log/datakit/log | grep 'xxx'

1.2.2. 卸载

clean.sh:

#!/bin/sh

datakit service -U

rm -rf /usr/local/datakit
rm -rf /var/log/datakit

1.3. 命令

1.3.1. 卸载

# Linux/Mac shell
datakit service -I # re-install
datakit service -U # uninstall 此处卸载 DataKit 并不会删除 DataKit 相关文件

rm -rf /usr/local/datakit
rm -rf /var/log/datakit

1.3.2. 输出默认配置

sudo datakit tool --default-main-conf

1.4. 采集器

1.4.1. 采集器在 console(工作空间) 中的位置

1.4.1.1. Object

这个在 console 中看不到, 只能通过 DQL 查询, 语句如下:

O::`snmp_object`

1.4.1.2. CustomObject

基础设施 - 自定义。

https://console.guance.com/objectadmin/others?routerTabActive=ObjectadminOther&router_type=table

1.4.1.3. RUM

用户访问监测。需要新增监控, 比方说阈值。

https://console.guance.com/rum/list

1.4.1.4. Security

安全巡检。

https://console.guance.com/security/explorer

1.4.1.5. Network

基础设施 - 网络。

https://console.guance.com/objectadmin/network/HOST?routerTabActive=HostNetwork&time=15m&is_refresh=true

1.4.1.6. KeyEvent

监控 - 监控器。

KeyEvent 就是告警。在这里可以新建一个告警, 比方说 “阈值”。

https://console.guance.com/monitor/checkerrulelist

1.4.1.7. Profile

应用性能监测 - Profile

https://console.guance.com/tracing/profile?time=15m&is_refresh=true

1.5. DQL

调起命令: datakit dql。使用 tab 键选择小分类。

• 查看网络: show_network_source()。
• 查看事件: show_event_source()。

查询所有工作空间下的事件(仅限一条):

E::abc LIMIT 1

其中 abc 是指标集名称。

除了指标 Metrics, 即 M, 不支持模糊查询外, 其它的 category 都支持:

L::`*` LIMIT 1 # 或 L::re(`.*`) LIMIT 1

因为后端存储引擎 TDEngine 不支持, 之前的 influxdb 可能支持。

其它:

O::host_processes { process_name='sh.exe'} limit 1
O::host_processes limit 10
M::cpu limit 10
M::`snmp_metric`:(`ifBandwidthInUsageRate`)

查询 object 数据时, 如果只是指定了名字而没有指定额外条件, 则只会显示最近 5 分钟的数据, 如:

O::test5 limit 1; # 显示最近 5 分钟的数据, 超过了就不会显示了, 显示的内容是 no data.

如果想查 5 分钟之外的, 则必须指定额外条件:

O::`*` { class='test5'} limit 1;

1.6. 行协议

curl -d "param1=value1&param2=value2" -X POST http://localhost:9529/write

curl -d "netflow,direction=outgoing,dst_domain=gtm-cn-zvp2o6fq301.gtm-a4b1.com,dst_ip=47.110.144.10,dst_ip_type=other,dst_port=442,family=IPv4,host=debian-gnu-linux-10,pid=16868,service=ebpf,src_ip=10.211.55.3,src_ip_type=private,src_port=57470,status=info,transport=tcp bytes_read=5244i,bytes_written=4834i,retransmits=0i,rtt=508i,rtt_var=151i,tcp_closed=0i,tcp_established=0i 1656404560535993599" -X POST http://localhost:9529/v1/write/network