给力! 10万用户级别账户数据追踪 99%准确率助力- Windows 日志收集转发介绍

运维世界常常需要从海量数据中删选出所需的信息轨迹并进行技术分析. 在企业环境, 特别是用户行为相关数据追述, 技术上尤其难. 要做到99%以上的准确性以及平台化建设, 更是难上加难.  设想一下, 10万级别用户, 每天的账户锁定需要在1分钟内自动通知以及给出用户准确的锁定来源提示, 这个方案你会怎么做 ?

商业和开源方案有一些但都不完整, 需要管理者做自定义开发扩展. 在试用了Kafka + Logstash + ElasticSearch + Kibana的方案一段时间之后, 我们发现开源平台数据丢失问题比较明显.  在用户级别细颗粒度的数据分析中，准确率打到97%左右很难再提升.  为提升准确率到99%以上以确保可用性和用户体验, 我们对于方案做了进一步的完善.  WEC – Windows Eventlog Collector (Windows 日志收集) 就是其中一部分, 用来补全用户认证/登录等特殊信息的删选和收集; 今天主要介绍WEC和其配置, 以飨读者;

目标 – 收集所有域控的用户验证/登录日志信息, 汇总到数据库;  用这些信息作为校验信息来复核账户锁定信息. 收集的手段即WEC.

原因 – 基于Windows Active Directory 的用户验证/登录可以通过高级审核策略留下详细信息 <账户登录, 登录/注销>. 这些信息可以帮助分析账户活动以及锁定;

成果 – 通过WEC 日志校验, 成功将信息准确率从97% 提升至 99%以上.

配置步骤 –

注 : 我们略过配置域策略开启高级审核<账户登录, 登录/注销>. 配置完成后刷新域控策略信息 gpresult.exe /H report.html 查看确认策略已经生效;

简介:WEC 或者 WEF <Windows Eventlog Forwarding> 是Windows 2012 R2及更高版本自带的服务<再老的版本我们不做涉及>, 允许event从多个Windows 服务器汇聚到收集服务器 <collector>. 该服务包含两个角色: Collector, 用于收集日志; Forwarder, 用于转发日志;  将两者连起来的是日志订阅.  Collector 可通过订阅来定义收集哪些服务器上的哪些日志.

配置步骤:

1.      首先定位一台服务器为Collector角色, 该服务器用来接收所有其他服务器的日志信息; 在Collector上开启WinRM 以及 Windows Event Collector 服务:

Winrm qc

点击订阅确认即可开启Windows Event Collector 服务, 也可在Services.msc 管理界面启动Windows Event Collector 服务