Logtail 从入门到精通:开启日志采集之旅

云栖君导读:目前Logtail已承载阿里云全站、所有云产品服务、全球各Region部署、阿里巴巴集团(淘宝、天猫、菜鸟等)上重要服务的数据采集。每天采集接近百万服务器上数PB的实时数据,对接数千个应用与消费者。


什么是日志


提到日志,很多人的第一印象就是系统打到本地的Log文件,出问题的时候看一下这个Log文件,用来排查问题。更进一步可以根据这个Log文件做实时的监控、第三方审计、入侵检测、行为分析、数据大盘制作等等。


640?wx_fmt=png&wxfrom=5&wx_lazy=1


马老师说过:阿里巴巴不是零售,我们是一家数据公司,为了数据才做电商、做物流、卖东西。我们认为日志是记录世间人和物所有行为的一种方式,是数据中极其重要又极其庞大的一个组成部分。会产生日志的设备有:服务器、交换机、手机、传感器、IOT设备、智能设备...产生的日志类型有:网络的七层日志、OS日志、订单日志、支持日志、GPS定位日志、用户点击日志...产生的日志形式有:文本文件、二进制文件、syslog、udp日志...如何充分利用这些日志资源才是我们的核心技术和竞争力。


什么是日志采集


数据的价值是什么?数据的价值在于把数据变成行动。这里一个非常重要的过程是数据分析。提到数据分析,大部分人首先想到的都是Hadoop、流计算、机器学习等数据加工的方式。如果从整个过程来看,数据分析其实包含了4个过程:采集,存储,计算和理解四个主要步骤:


640?wx_fmt=png


  • 采集:从各种产生数据的源头,将数据集中到存储系统。包括硬盘上的历史数据、用户网页的点击、传感器等等。

  • 存储:以各种适合计算的模式集中式存储数据,其中既包含大规模的存储系统(例如数仓),也有例如临时的存储(例如Kafka类消息中间件)。

  • 计算:形态多种多样,但大部分计算完成后会将结果再放入存储,而这个过程也可能迭代多次。

  • 理解:利用机器学习、可视化、通知等手段提炼出结论性或具有代表意义的数据并将结果呈现出来。


640?wx_fmt=png


数据的采集是一门很大的范畴,从实时性上和每次传输数据规模上分,一般可以分为3类:


  • 实时采集:例如access log、database change log等

  • 定时任务:例如每隔5分钟从FTP或数据源去批量导出数据

  • 线下导数据:例如邮寄硬盘、AWS Snowmobile 卡车、阿里云的闪电立方等
    从数据的价值以及体量上而言,实时数据采集毫无疑问最重要的,而其中最大的部分就是日志实时采集。


为何使用Agent


实现日志的实时采集一般有2种方式:


  • 直接上传:在应用程序(或依赖的框架)中将日志直接上传到服务端。例如各种日志上传的SDK、Log4j的appender、docker driver等

  • 通过Agent采集:应用本身只产生日志,由Agent作为代理采集到服务端。例如将日志打到磁盘、syslog转发、从中间框架(docker engine、mysql、应用自带的monitor模块)中抽取等


下面我们来详细剖析一下二者区别:


640?wx_fmt=png


640?wx_fmt=png


从以上分析来看,两种采集方式各有优缺点、也有各自适应的场景:


  • 直采:适用于对性能/资源要求较高的场景,例如IOT/智能设备等对于资源要求极高,没有额外的资源独立部署采集Agent;例如负载均衡设备、CDN节点等日志产生量极高(每秒数百MB或者数GB的日志),只有直接上传方能满足性能要求

  • Agent采集:只要应用可以将日志输出(以文件形式保存到磁盘、syslog等)或者支持通用的接口拉取,Agent即可将日志采集到。大部分场景下松耦合、可扩展性、可维护性相比Agent额外开销更具优势


为何选用Logtail


日志采集Agent有很多,例如Logstash、Fluentd、Beats系列(FileBeats、MetricBeats、Packetbeat、Winlogbeat、Auditbeat、Heartbeat)、Nxlog、Telegraf、Heka、Nifi、Logspout、Datadog agent、Sematext agent、Splunk addon系列、Sumologic collector。。。


业界有那么多的Agent,每个Agent各种各样的功能和特性看起来让人眼花缭乱。但围绕日志采集这个最原始的需求展开,无非也就是功能、性能、稳定性、运维代价这4个方面:


  • 功能:作为选择Agent最基本需求,主要分为输入源、数据处理(除日志解析外,还包括过滤、压缩等)、数据输出。

  • 性能:不同类型Agent之间会有数十倍的性能差距。当日志产生速率较低且资源充足时,此项可以忽略;但大部分情况下采集Agent是作为整个集群的基础软件,在集群规模庞大的情况下,即使每台机器节省1%的CPU、10MB的内存也是很大一笔资金节省。

  • 稳定性:稳定的重要性无需多言,除保证自身运行的稳定外,Agent还需保证不能超出限定的资源使用Quota,以免对应用产生影响。

  • 运维代价:日志采集的运维主要包括:Agent部署、动态伸缩、配置管理、Agent升级、Agent异常监控。当只有数台主机时,Agent可以使用人肉的方式进行管理,但当集群规模扩大到数百及以上时,运维必须依赖有效的机制。


阿里云日志服务也有自己的采集Agent--Logtail。目前logtail已承载阿里云全站、所有云产品服务、全球各Region部署、阿里巴巴集团(淘宝、天猫、菜鸟等)上重要服务的数据采集。每天采集接近百万服务器上数PB的实时数据,对接数千个应用与消费者。之所以使用Logtail作为采集Agent也是经过上述四个方面的综合考虑。由于采集Agent数量众多,这里我们选择目前最主流的3款Agent进行对比:


640?wx_fmt=jpeg


相对主流的采集Agent,Logtail在采集功能上有一定的不足,对于输入源、处理方式等支持没有开源软件的多,但从目前的功能来看,可以满足95%以上的日志采集需求。但日志采集并不是能够采集到就可以。相对开源软件,Logtail的优势是有集团百万服务器、上万应用的练兵环境,很多问题纯粹从Agent和开源社区的角度并不会考虑到。因此经历了数年的迭代优化,在性能、稳定性、运维代价上,Logtail相对更加成熟,在性价比上具有绝对的优势。


Logtail相关概念


为了更好的了解日志采集,这里我们首先对日志采集中遇到的基本概念进行简要的介绍。


概念介绍


  • 项目: 项目(Project)是日志服务中的资源管理单元,用于资源隔离和控制。您可以通过项目来管理某一个应用的所有日志及相关的日志源。它管理着用户的所有日志库(Logstore),采集日志的机器配置等信息,同时它也是用户访问日志服务资源的入口。

  • 日志库: 日志库(Logstore)是日志服务中日志数据的采集、存储和查询单元。每个日志库隶属于一个项目,且每个项目可以创建多个日志库。

  • Logtail客户端: Logtail是一款执行日志收集工作的Agent,一般安装在需要收集日志的服务器上,作为独立软件运行。

  • 机器组: 一个机器组包含一或多台需要收集一类日志的机器。通过绑定一组Logtail配置到一个机器组,可以让日志服务根据同样的Logtail配置采集一个机器组内所有服务器上的日志。

  • 采集配置: 是Logtail收集日志的策略集合,采集配置一般包括需要采集的数据源、解析方式、过滤方式等参数,所有采集配置均在控制台进行管理。


各概念间关系


640?wx_fmt=png


  1. 日志库直接负责日志存储,所有Logtail采集的数据最终都会存储到日志库中。

  2. 日志库由项目进行管理,项目和日志库的关系类似于数据库和表之间的关系。

  3. 一个日志库中可包含多个不同的采集配置,日志库下的采集配置默认将数据采集到该日志库。

  4. 采集配置并不直接应用于Logtail客户端,而是应用于中间层的机器组,便于大规模集群和应用的灵活管理。

  5. 一个Logtail可属于多个机器组,一个机器组可包含多个Logtail,实现Logtail与机器组的解耦。

  6. 一个采集配置可应用到多个机器组,一个机器组可关联多个采集配置,实现机器组与采集配置的解耦。


安装配置流程


640?wx_fmt=png


Logtail的安装配置流程相对比较简单,如果日志服务和ECS在同一账号下,则只需5个步骤即可实现采集。


  • 日志服务已经和ECS打通,可自动获取ECS对应的owner信息,因此不需要设置aliuid信息。


安装Logtail


ECS安装


1、购买一台ECS


640?wx_fmt=png


2、根据ECS所在区域选择Logtail安装脚本(参见Logtail安装指南)


例如华东1的经典网络,使用wget http://logtail-release.oss-cn-hangzhou-internal.aliyuncs.com/linux64/logtail.sh; chmod 755 logtail.sh; sh logtail.sh install cn_hangzhou


3、使用/etc/init.d/ilogtaild status检查Logtail运行状态,如输出ilogtail is running表示安装成功


640?wx_fmt=png


自建主机安装


1、选择任意公网Logtail安装脚本(参见Logtail安装指南)


例如选择华东1公网安装,使用wget http://logtail-release.oss-cn-hangzhou.aliyuncs.com/linux64/logtail.sh; chmod 755 logtail.sh; sh logtail.sh install cn_hangzhou_internet


2、使用/etc/init.d/ilogtaild status检查Logtail运行状态,如输出ilogtail is running表示安装成功


3、配置账号标识文件(参见非本人ECS/线下机器,配置完成后无需重启Logtail)


配置


创建项目和日志库


  1. 在阿里云官网产品中选择日志服务或直接点击进入日志服务控制台,若您当前没有开通,会提示您开通日志服务,点击开通。

  2. 点击创建Project按钮,地域(Region)中选择Logtail安装时所选的地域,例如选择华东1(杭州)。


640?wx_fmt=png


640?wx_fmt=png


3. Project创建成功后会提示创建Logstore,点击创建;这里我们输入Logstore名称,其他参数无需修改,点击确认。


640?wx_fmt=png


创建采集配置


1、Logstore创建完毕后,会提示进行数据接入。如下图所示,可通过三个入口创建采集配置:


640?wx_fmt=png


2、在弹出的数据接入页面中,我们选择自定义数据中的文本文件接入。


640?wx_fmt=png


3、在采集配置中我们选择极简模式,日志路径中的文件夹和文件名分别输入/var/log和message,点击下一步。


640?wx_fmt=png


创建机器组并应用


1、配置页面点击下一步后,会提示您选择机器组,这里我们点击创建机器组。


640?wx_fmt=png


2、机器组配置页面中选择IP地址类型的机器组,IP输入ECS的内网IP(Logtail获取的IP地址可通过cat /usr/local/ilogtail/app_info.json查看)


640?wx_fmt=png


3、保存机器组后,勾选该机器组并点击应用到机器组。后续设置无需关心,直接点击下一步。


640?wx_fmt=png


查看日志


此时采集配置已经创建完毕,您可以尝试退出重新登录主机或输入命令echo "test message" >> /var/log/message,这时本地/var/log/message文件会有新的日志产生,Logtail就会采集到这些数据了。


点击日志库页面的预览或查询链接,即可看到Logtail采集上来的日志了。


640?wx_fmt=png 640?wx_fmt=png 640?wx_fmt=png
查看本文中涉及的参考资料请点击左下角【阅读原文】!


end


阿里巴巴6大行业报告免费分享啦!

阿里巴巴千亿交易背后的0故障发布

【资料合集】2018云栖大会•深圳峰会回顾:PDF下载

机器学习研究人员需要了解的8个神经网络架构

更多精彩


640?wx_fmt=jpeg

  • 0
    点赞
  • 0
    评论
  • 2
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2021 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值