云途探索——移动云云日志接入实践

1 前言

随着人工智能、大数据、物联网以及云计算时代的到来，在日志数据量持续爆增、日志数据日益多样化的今天，传统日志服务器的管理模式已经追不上日志数据的增速，且企业对日志管理系统的要求越来越高，很多企业都想建设一个统一的日志平台来解决这个问题，面对当前的挑战和机遇，众多云服务厂商纷纷推出了云日志服务，以此来满足企业的需求。

什么是云日志服务？
云日志服务是在云上提供的一站式日志采集、日志搜索、海量存储、结构化分析、丰富的仪表盘、日志告警和转储等功能，可以满足企业的应用运维、等保合规和运营分析多种场景下的应用。

2 新手入门

在正式接入云日志之前，首先了解一下云日志的核心功能。

• 实时采集 用户创建采集规则后，日志数据被实时采集传输至日志服务端并展示到控制台，秒级完成采集、查询、分析。
• 查询分析 支持基于实时日志的搜索，筛选匹配Lucene语法的日志信息；支持查看日志上下文信息，提供快速分析、仪表盘功能，提供日志分析可视化图表展示。
• 日志转储 支持自定义转储策略，定时将日志文件压缩转存至对象存储，提供长久保存的日志数据供用户读取。
• 关键字告警 支持自定义日志关键字告警，用户设置完成告警策略后，日志匹配关键字、阈值将发送日志告警。支持短信、邮件通知联系人。

下面我们以移动云的云日志服务 为例，通过一个实践来了解如何将Linux主机接入云日志进行管理，带你快速上手云日志服务。
接入过程一共分为四步，如下图所示：

2.1 前置条件

在采集到日志之前，需要先订购或开通相应的云产品。在日志接入页面，选择需要采集日志的云产品类型，根据采集指引创建对应的采集规则。创建采集规则后即可进入日志管理查询日志

2.2. 配置采集对象及规则

移动云云日志服务提供云主机文本日志查询分析功能（包含Windows系统、Linux系统云主机），用户可自定义采集云主机日志文件，将云主机日志存储到云日志中。可以将一台或多台云主机日志组合为一个日志主题，在日志主题进行日志内容检索、分析、导出，记录日志并协助故障排查。 前置条件：已创建云主机。

• 采集规则配置
  进入云日志控制台后，进入日志接入，首先选择资源类型，创建采集规则，生成配置文件。点击【新建采集规则】按钮，根据页面引导，填写采集规则字段。
  

2.3 安装Agent

Agent安装既可以使用命令行进行自动安装，也可以使用手动安装Linux版的Agent。

命令行安装Agent的四个步骤如下：

• 主机上下载脚本文件,主机上执行

curl-O http:/10.173.130.183:8088/wuxi-cloudlogbeat/auto_filebeat.sh

• 放开脚本权限， 主机上执行
  chmod+xauto filebeat.sh
• 运行脚本

/auto filebeat. sh -u CIDC-U-458b3c8abaf845afbd65doddba3cfe5d -c CIDC-U-458b3c8 abaf845afbd65d0ddba3cfe5d-v c53782c0-b7b0-4b22-9e98-00b19dc43cac-p'/a/b/*'-h 10.175.136.2:9092,10.175.136.4:9092,10.175.136.6:9092-tsystem

• 完成采集部署
  手动安装Linux版Agent的步骤如下：
• 上传安装包
  支持filebeat 8.8.0版本客户端，下载链接：filebeat-8.8.0-x86_64.rpm， 以下步骤以安装Centos 7.3 64位的filebeat 8.8.0为示例。将安装包传至主机”/root/”目录下，或在主机上执行：

curl -O http://eos-shanghai-1.cmecloud.cn/shanghai-cloudlogbeat/filebeat-8.8.0-x86_64.rpm

• 安装
  在安装包所在目录下执行命令：

rpm -ivh filebeat-8.8.0-x86_64.rpm

• 修改配置文件

修改配置文件/etc/filebeat/filebeat.yml（使用采集规则页面生成的配置文件进行替换）。

（1）进入云日志控制台对应改主机采集规则页面，点击【下载配置文件】，并将该文件上传至目标主机。

（2）在上传目录下执行替换命令：

cp filebeat.yml /etc/filebeat/filebeat.yml

（3）是否覆盖输入：y，回车确定。

（4）替换成功。

• 设置开机自启动

`systemctl enable filebeat`

• 启动filebeat服务

 systemctl restart filebeat

• 查看filebeat服务状态

-`systemctl status filebeat`

2.4 日志管理

当采集规则创建完成（包括Agent安装步骤），日志就可以正常上报了。可以前往日志管理页面创建日志组和日志主题，绑定已创建采集规则的实例，查看日志详情。

同时也可以针对日志进行检索，
点击日志主题名称进入日志详情页面，您可以通过时间、语法筛选所需日志数据。原始数据提供日志内容、上报时间、日志上下文展示 。

同时也可以针对时间段内采集的日志数进行快速分析，一键生成可视化图表。

支持针对多个维度的数据进行汇总至仪表盘页，针对多个维度统计的数据进行综合分析

其中日志数据最长保存90天，超过90天的数据将自动删除。如需长久保存，可将日志转储至对象存储，同时日志中的告警信息，支持导出。

• 制定告警策略
• 
  针对触发告警策略的日志支持进行导出，针对筛选后的日志进行导出
  

3 使用场景

3.1 优势

1、简单高效
支持多种数据来源，针对不同云资源使用Agent采集和实时写入结合的采集方式，实现散落日志统一管理，从配置采集信息到日志成功上传仅需简单几步，省时省力。
2、实时查询
灵活强大的实时查询搜索功能，秒级查询能力，支持全文检索，无需SQL（Structured Query Language，结构化查询语言）语句，简单易用，鼓励用户自主探索、利用日志数据。
3、安全可靠
支持细粒度的访问权限控制，使用HTTPS加密等安全技术保障数据安全性。日志数据可根据自定义策略压缩并转储至对象存储服务，利用对象存储集群高可靠特性实现海量日志数据长期保存。
4、成本低廉
相比传统日志管理系统，无需复杂框架，零搭建，免开发，免运维。日志转储至对象存储服务按需收费，节约成本。

3.2 应用场景

用于各类用户，将云主机以及云主机路径下分散的日志集中到一个界面进行统一管理。

支持运维人员、运营人员、企业管理员实时查询定位服务器系统、业务问题，提高运营运维效率。

同时，在进行安全审计、安全等保建设过程中，需要对过往日志数据进行追溯。此时日志数据需要长时间保存，可以搭配移动云的存储产品使用日志转储功能，保证了数据可回溯性。当用户需要从日志数据中获取故障改进信息，可设置告警策略，通过实时查询分析可以实时对日志中数据，提供关键词的匹配预警，保证客户关注的事件跟踪及时。

4 总结

**移动云云日志体验入口： https://ecloud.10086.cn/portal/product/journal**
综上所示，使用移动云云日志进行日志分析是企业进行上云服务的最佳解决方案之一，支持多种数据来源，实现散落日志统一管理，从配置采集信息到日志成功上传仅需简单几步，省时省力。相比传统日志管理系统，无需复杂框架，零搭建，免开发，免运维。日志转储至对象存储按需收费，节约成本。