OpenFalcon关于单节点部署方面的实践总结

 

OpenFalcon单节点支持规模分析

 

一、概述

      OpenFalcon核心组件有agent、transfer、graph、judge、hbs等，其中transfer、graph、judge三个组件分别对网络资源、磁盘资源、内存资源消耗比较高，承受压力最大，资源消耗也最大。由于agent采集数据后上报到transfer，再由transfer转发到graph、judge，所以OpenFalcon单节点支持监控机器规模由transfer所接收的最大数据量决定。

二、官网个别组件特点整理

hbs组件：一般一个实例可以搞定5000台机器。

falcon-agent组件：falcon-agent是一个golang开发的daemon程序，用于自发现的采集单机的各种数据和指标，共计200多项指标。

transfer组件：transfer 提供jsonRpc接口和telnet接口两种方式，transfer自身是无状态的，挂掉一台或者多台不会有任何影响，同时transfer性能很高，每分钟可以转发超过500万条数据，transfer在发送数据时，对应发送到graph、judge、tsdb的数据分别有三个缓存数据发送队列，发送队列的长度大小均为102400（即10.24w，代码见transfer/sender/sender.go）

Judge组件：推荐做法是一个Judge实例处理50-100万的数据量，占用5G-10G内存。

graph组件：单机支撑200万metric的上报、归档、存储（周期为1分钟）。

三、单机部署规模500说明

        由于agent采集单机的各种数据和指标共计可达200多项，所以部署到每个机器的agent每分钟发送监控数据可达200条左右。agent上报的数据经过transfer接收后，按照分片数据的格式分别存放到对应graph和judge的发送数据缓存队列中，代码中设置队列长度均为102400（10.24万条），也就是可以有512左右个agent上报数据到transfer，此时transfer发送缓存队列基本接近最大长度，故官网说明单机监控规模500左右。

四、官网混合部署经验

     混合部署可以提高资源使用率。这里先总结下Open-Falcon各子服务的资源消耗特点，根据资源消耗特点、高可用要求等，可以尝试做一些混合部署。