StatsD,collected,fluentd和其他守护程序

最受欢迎的守护程序是什么?它们可以做什么?

监视是每个系统中的关键元素,尽管我们的用户可以很好地了解系统的运行状况,但我们应该能够为他们提供最佳,流畅的体验。 那时,守护程序将派上用场,收集我们可能需要的所有数据,或者甚至是我们没有想到的数据。

在下面的文章中,我们将解释为什么这些守护程序如此重要,以及我们可以选择哪些选项。 一探究竟。

认识守护进程

收集器守护程序是一个在后台运行的进程,用于从系统中收集数据。 这些守护程序通常以字母D结尾,以将它们与系统上运行的其他进程区分开。

当我们这样说的时候,听起来可能很简单,但那没什么。 这些守护程序通常是基于以下4个关键点的更复杂体系结构的一部分:

  • 来源–信息从何而来
  • 运输-这些信息将如何到达您
  • 存储–数据将存储在哪里
  • 视图–您将如何实际查看系统中发生的情况

每个守护程序都有自己的优点和缺点,这些优点和缺点集中在这些值上,并且一长串的守护程序以及追随者试图使我们选择一个。 我们决定重点关注一些最受欢迎的守护程序,以帮助您更好地了解它们的价值。

StatsD是一个简单的Node.js应用程序,最初由Etsy的工程团队构建。 这样做是为了帮助团队传输有关其网络,机器和应用程序的数据点,并将该信息转换为图形。

这使工程师可以更好地了解正在发生的事情,同时向公司内部其他人员提供相同的信息。

如今,它是收集和总结应用程序指标的最流行的守护程序之一。 那是由于它的简单工作方式。 我们要做的就是通过发送相关数据来告诉我们要创建哪些新指标,并等待该信息通过UDP端口传输。 StatsD服务器支持许多不同的数据类型,而三种主要类型是计数器,计时器和仪表。

现在我们有了指标,是时候实际查看它们了。 StatsD是为Graphite构建的,这意味着它可以解析消息并直接向它们提取指标。 但是,它也可以与其他可视化和指标工具很好地配合使用。

架构视图:

StatsD架构

StatsD架构

谁使用它?

从KickStarter到Lyft,Misfit,AutoCAD,Dollar Shave Club等,很多知名的名字都在使用StatsD。

收集的内容使用C语言编写,从而使其可以在没有脚本语言或cron守护程序的系统上运行,例如嵌入式系统。 它收集,传输和存储系统性能统计信息,并通过插件处理数据获取和存储。

插件是收集的重点,因为插件中的几乎所有内容都由插件完成。 当前列表包含90多个插件,范围从标准案例到低级,专门和高级主题。

您可以在此处找到一些有趣的插件,例如收集其电荷,消耗的电流和电压的Battery插件,或从Apple计算机读取系统温度和风扇速度的Apple Sensors插件。

当然,还有StatsD插件。 您可以将两者连接起来并用它来报告不同的事件,同时使用collectd汇总它们。 因为收集的不是监视解决方案,所以这将派上用场,现在唯一的选择就是简单的阈值检查。 另一个主要缺点-您无法生成图表。

配置非常简单,您要做的就是选择要加载的模块。 您无需设置其他任何内容,但可以根据需要定制守护程序。

架构视图:

收集的体系结构。资料来源:收集

收集的体系结构。 资料来源:收集

谁使用它?

BBC正在使用收集到的200多台服务器收集统计信息,而neoTactics在其云管理框架中使用了统计信息。

fluentd与前面提到的守护程序有些不同,因为它被更多地视为日志记录工具。 这就是为什么它通常与Logstash和其他日志记录工具(而不是守护程序)相对应的原因。

fluentd是一个数据收集后台程序,旨在帮助您直接从日志和数据库收集数据。 更具体地说,您可以使用它来分析事件日志,应用程序日志和点击流(一系列鼠标单击)。

fluentd本身是用C语言和Ruby组合编写的,并由Treasure Data构建。 根据其官方网站,Treasure Data的一位联合创始人发现许多数据没有得到有效利用,并开发出流畅的解决方案来可靠地收集数据。

这就是为什么您会在此守护程序中找到“记录一切”的态度的原因,其主要目标是在数据源和后端之间提供统一的记录层。 将数据作为JSON进行流利处理,从而可以跨多个源和目标(统一日志记录层)统一收集,过滤,缓冲和输出日志。

插件也是这里的主要问题,并且有300多种由社区贡献的插件 。 它们按类别过滤,并具有适用于AWS,大数据,Google Cloud,IoT和许多其他选项的独特插件。

说到日志记录,如果您正在寻找适合自己的完整日志记录工具,则应查看我们的Log Management Tools Face-Off

架构视图:

fluentd-architecture-300x188 @ 2x

流利的架构。 资料来源:Fluentd

谁使用它?

DeNA,GREE,SlideShare甚至Nintendo都使用fluentd为其平台收集大量数据日志。

不要忘记这些

我们仅提到了守护程序领域中一些流行的角色:

DTrends-300x166 @ 2x

StatsD,收集并精通Google趋势

您还应该知道其他一些名称,例如:

systemd –所有守护程序的守护程序。 它是大多数Linux发行版中的默认初始化系统,用于管理所有正在运行的守护进程。 主要目标是统一所有发行版中的基本Linux配置和服务行为。

crond –执行预定命令的守护程序。 它计划基于时间的作业,并自动安装在大多数Linux发行版上。

ntpd –网​​络时间协议守护程序(ntpd)是使系统与时间服务器同步的最佳朋友。 它确保所有时钟都将同步,并且我们不必告诉您这有多重要。

超级管理员(supervisord) –一个守护程序,用于监视和控制类似UNIX的操作系统上的一些进程,如果它们崩溃,则可以重新启动它们。

takipi-service –一个守护程序,报告由本机Java代理收集的指标。 该代理会监视服务器中是否有异常和记录的错误,以及导致它们的确切变量状态。

最后的想法

有许多守护程序可供选择,其中有些甚至在某些区域重叠。 当然,您不必将自己限制在一个,特别是如果您将这些守护程序一起使用会发现有价值的话。

您还使用其他守护程序吗? 我们希望在下面的评论中听到有关它们的信息。

翻译自: https://www.javacodegeeks.com/2016/08/statsd-vs-collectd-vs-fluentd-daemons-know.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值