基于开源项目构建SIEM

SIEM简介

Gartner的定义：安全信息和事件管理（ Security Information Event Management）技术通过对来自各种事件和上下文数据源的安全事件的实时收集和历史分析来支持威胁检测和安全事件响应。它还通过分析来自这些来源的历史数据来支持合规报告和事件调查。SIEM技术的核心功能是广泛的事件收集，以及跨不同来源关联和分析事件的能力。

SIEM可以说是企业的网络安全人员的“屠龙刀”、“倚天剑”，有了SIEM很多网络安全问题可以事半功倍，也是构建企业安全网络的奠基石，它可以作为所有数据收集和分析活动的集中点，将各种设备的日志归一化。近年来比较火的SOC、SOAR均是在SIEM基础上进行开展，相信很多一定规模的企业都会部署SIEM平台，可能是商业版，也可能是开源的。

商业版SIEM特点

• 功能相对完善，开箱即用

• 厂家提供技术支持，节省人员时间和精力

• 很多商业化安全产品扩展性较差，不够灵活，绝大部分的网安设备都是闭源的，因此个性化需求要完全依赖厂商进行二次开发，对厂商依赖性强，需求还一定能满足。

商业版SIEM适合网络安全人员或技术能力不足，对安全又有一定投入的企业，所谓花钱买省心。

开源SIEM特点

• 功能相对商业版少一些

• 需要网络安全人员来维护，因此对运维人员有一定技术能力

• 开放源码，可以根据企业本身实际情况进行二次开发，满足个性化需求，灵活性较高。

开源的SIEM适用于拥有一定数量的安全人员，技术能力强，有个性化需求的企业，典型代表就是互联网企业，互联网企业比较热衷于自己研发或在开源项目上二次开发，一个是技术能力的体现，一个是商业版产品满足不了多场景需求。

商业版SIEM涉及商业授权问题，因此本次介绍开源的SIEM工具，Elastic Stack+Grafana

 

Elastic Stack

Elastic Stack简称ELK，官方网站：Elastic — The Search AI Company | Elastic

ELK具有以下优势

• Gartner PeerInsights评分：4.3星；

• 目标受众：各种规模的客户，尤其是具有DevOps功能的客户；

• 显著特点：开源和极其灵活的平台；

• 定价：开源且免费，基于具体规模和使用情况提供企业支持和商业订阅定价模式；

主要包括以下核心组件：

Elasticsearch

Elasticsearch 是一个分布式的开源搜索和分析引擎，适用于所有类型的数据，包括文本、数字、地理空间、结构化和非结构化数据。Elasticsearch 在速度和可扩展性方面都表现出色，而且还能够索引多种类型的内容，这意味着其可用于多种用例：

• 应用程序搜索

• 网站搜索

• 企业搜索

• 日志处理和分析

• 基础设施指标和容器监测

• 应用程序性能监测

• 地理空间数据分析和可视化

• 安全分析

• 业务分析

Logstash

Logstash 是 Elastic Stack 的核心产品之一，可用来对数据进行聚合和处理，并将数据发送到 Elasticsearch。Logstash 是一个开源的服务器端数据处理管道，允许您在将数据索引到 Elasticsearch 之前同时从多个来源采集数据，并对数据进行充实和转换。

Kibana

Kibana 是一款适用于 Elasticsearch 的数据可视化和管理工具，可以提供实时的直方图、线形图、饼状图和地图。Kibana 同时还包括诸如 Canvas 和 Elastic Maps 等高级应用程序；Canvas 允许用户基于自身数据创建定制的动态信息图表，而 Elastic Maps 则可用来对地理空间数据进行可视化。

Beats

Beats是作为开源数据托运人代理安装在服务器上，用于向Elasticsearch发送操作数据。Beats可以直接将数据发送到Elasticsearch或通过Logstash，在Logstash里你可以进一步处理和增强数据。

基于ELK数据流程图

自建SIEM步骤

1. 采集日志

针对海量的日志，安全运维会有以下痛点

• 日志多且乱。各个网络设备都有日志，日志数据分散难以查找

• 日志难检索。日志数据量大，查询速度慢，数据不够实时

• 日志孤岛。日志相互独立，难以进行关联分析

• 日志展示难。缺乏简单易用的工具，对日志进行分析展示

基于以上痛点，日志的归一化迫在眉睫。针对安全日志，可以分为以下几个大类：

网安设备：通过syslog的形式发送到logstach上做数据的格式化和聚合，保留有用的字段。由于每个安全产品的日志字段有差异，因此需要将字段名称统一命名，用索引名称来区分数据来源，方便后期做数据检索。

应用日志：针对一些web日志，若不能通过syslog的形式发送到ELK上，可以通过filebeat对log文件进行采集。

Windows：ELK有个winlogbeat的组件，专门收集Windows上日志，采集安全日志中审核失败的事件，通过这些事件能否发现Windows 系统的服务器能否遭到暴力破解攻击。

Linux：针对Linux系统，也可以通过filebeat来采集日志，采集服务器的安全日志，以便用于网络攻击事件预防、溯源。

2. 日志存储及搜索

• 根据日志量的大小来规则集群的副本数量、分片数量。如何管理elasticsearch集群，这里不多展开阐述。

• 统一索引名称规范，针对多个数据来源，我们需要对索引做命名规范，便于管理员通过索引来识别日志源，如safe-prod-fw01-syslog

• 开启x-pack认证，全站HTTPS。es集群间通信、es和kibana、es和logstach通信开启证书、密码认证，kibana前端访问也需要启用HTTPS。

ELK平台提供了多种搜索方式，主要有以下几种，KQL是kibana提供的查询语言；Lucene是Apache提供的查询语言，Lucene也是elastic的搜索引擎；DSL是elastic公司在Lucene的基础上开发的一种查询语言。这三种语言的数据搜索都比较简单，零基础即可入门。

日志归一化后，可以对各个日志源做关联分析，这对于安全分析人员来说，无疑带来了很多的便利，也会提高工作效率，加快安全事件的处理时间。

在kibana上使用KQL进行日志查询

3. 日志展示

万事俱备，只欠东风，到了日志展示环节，这是最重要的一步了，除了我们安全运维人员需要借助安全日志进行威胁分析、定位、预警之外，还有就是安全可视化的工作汇报，要知道在甲方，我们要让领导看到我们的价值所在，需要将安全状况以图表的形式展示给管理层，也让管理层知道目前企业的安全状况。

kibana本身也提供数据图表的功能，但效果不是十分好，推荐使用另一款开源工具，grafana，官方网站：Grafana: The open observability platform | Grafana Labs。

grafana 是一款采用 go 语言编写的开源应用，主要用于大规模指标数据的可视化展现，是网络架构和应用分析中最流行的时序数据展示工具。将elasticsearch数据源添加到grafana中，开始编排图表。

首先是内网安全概要页面，该页面主要是展示各个维度的攻击数量、攻击类型Top10以及信息安全新闻等。

详情页面。在这里可以对每个系统遭到攻击做细分，根据时间段查询各个应用系统的攻击类型以及攻击数量

以上是一些示例图标，可以根据企业自身情况来绘制图表

存在的问题及应对措施

在自建SIEM过程，自然遇到不少问题，踩过不少的坑，我总结了以下几个常见问题

• 网安设备不能通过syslog推送日志或日志类型不全。小弟就遇到过不支持推送syslog日志的设备，这让人很抓狂啊。针对这种问题，只能求助厂商了，可以做一个定制版本来支持syslog日志推动。

• 缺少字段说明文档。大部分syslog日志字段都可以通过英文来识别其字段类型，但有些安全级别会用数字来代替，这时候就不知道高危、中危、低危分布在哪些区间了。解决办法：1. 找厂家协助，这是最有效的途径。2. 根据设备显示的安全级别跟syslog日志中的数据对应，可以收集多个级别的日志进行比较，尽可能匹配正确。

• 没有告警功能。ELK免费版本是没有告警功能的，意味着安全事件发生后，会有滞后性。解决办法：购买商业版wather的告警功能，可以满足多种条件下的告警规则

题外话

初入计算机行业的人或者大学计算机相关专业毕业生，很多因缺少实战经验，就业处处碰壁。下面我们来看两组数据：

• 2023届全国高校毕业生预计达到1158万人，就业形势严峻；
• 国家网络安全宣传周公布的数据显示，到2027年我国网络安全人员缺口将达327万。

一方面是每年应届毕业生就业形势严峻，一方面是网络安全人才百万缺口。

6月9日，麦可思研究2023年版就业蓝皮书（包括《2023年中国本科生就业报告》《2023年中国高职生就业报告》）正式发布。

2022届大学毕业生月收入较高的前10个专业

本科计算机类、高职自动化类专业月收入较高。2022届本科计算机类、高职自动化类专业月收入分别为6863元、5339元。其中，本科计算机类专业起薪与2021届基本持平，高职自动化类月收入增长明显，2022届反超铁道运输类专业（5295元）排在第一位。

具体看专业，2022届本科月收入较高的专业是信息安全（7579元）。对比2018届，电子科学与技术、自动化等与人工智能相关的本科专业表现不俗，较五年前起薪涨幅均达到了19%。数据科学与大数据技术虽是近年新增专业但表现亮眼，已跻身2022届本科毕业生毕业半年后月收入较高专业前三。五年前唯一进入本科高薪榜前10的人文社科类专业——法语已退出前10之列。

 “没有网络安全就没有国家安全”。当前，网络安全已被提升到国家战略的高度，成为影响国家安全、社会稳定至关重要的因素之一。 

网络安全行业特点

1、就业薪资非常高，涨薪快 2021年猎聘网发布网络安全行业就业薪资行业最高人均33.77万！

 2、人才缺口大，就业机会多

2019年9月18日《中华人民共和国中央人民政府》官方网站发表：我国网络空间安全人才 需求140万人，而全国各大学校每年培养的人员不到1.5W人。猎聘网《2021年上半年网络安全报告》预测2027年网安人才需求300W，现在从事网络安全行业的从业人员只有10W人。

 行业发展空间大，岗位非常多

网络安全行业产业以来，随即新增加了几十个网络安全行业岗位︰网络安全专家、网络安全分析师、安全咨询师、网络安全工程师、安全架构师、安全运维工程师、渗透工程师、信息安全管理员、数据安全工程师、网络安全运营工程师、网络安全应急响应工程师、数据鉴定师、网络安全产品经理、网络安全服务工程师、网络安全培训师、网络安全审计员、威胁情报分析工程师、灾难恢复专业人员、实战攻防专业人员…

职业增值潜力大

网络安全专业具有很强的技术特性，尤其是掌握工作中的核心网络架构、安全技术，在职业发展上具有不可替代的竞争优势。

随着个人能力的不断提升，所从事工作的职业价值也会随着自身经验的丰富以及项目运作的成熟，升值空间一路看涨，这也是为什么受大家欢迎的主要原因。

从某种程度来讲，在网络安全领域，跟医生职业一样，越老越吃香，因为技术愈加成熟，自然工作会受到重视，升职加薪则是水到渠成之事。

黑客&网络安全如何学习

今天只要你给我的文章点赞，我私藏的网安学习资料一样免费共享给你们，来看看有哪些东西。

 1.学习路线图 

 攻击和防守要学的东西也不少，具体要学的东西我都写在了上面的路线图，如果你能学完它们，你去就业和接私活完全没有问题。

2.视频教程

网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己录的网安视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。

内容涵盖了网络安全法学习、网络安全运营等保测评、渗透测试基础、漏洞详解、计算机基础知识等，都是网络安全入门必知必会的学习内容。

 

 （都打包成一块的了，不能一一展开，总共300多集）

因篇幅有限，仅展示部分资料，需要保存下方图片，微信扫码即可前往获取

3.技术文档和电子书

技术文档也是我自己整理的，包括我参加大型网安行动、CTF和挖SRC漏洞的经验和技术要点，电子书也有200多本，由于内容的敏感性，我就不一一展示了。 

 因篇幅有限，仅展示部分资料，需要保存下方图片，微信扫码即可前往获取

4.工具包、面试题和源码

“工欲善其事必先利其器”我为大家总结出了最受欢迎的几十款款黑客工具。涉及范围主要集中在 信息收集、Android黑客工具、自动化工具、网络钓鱼等，感兴趣的同学不容错过。 

 还有我视频里讲的案例源码和对应的工具包，需要的话也可以拿走。

因篇幅有限，仅展示部分资料，需要保存下方图片，微信扫码即可前往获取

 最后就是我这几年整理的网安方面的面试题，如果你是要找网安方面的工作，它们绝对能帮你大忙。

这些题目都是大家在面试深信服、奇安信、腾讯或者其它大厂面试时经常遇到的，如果大家有好的题目或者好的见解欢迎分享。

参考解析：深信服官网、奇安信官网、Freebuf、csdn等

内容特点：条理清晰，含图像化表示更加易懂。

内容概要：包括 内网、操作系统、协议、渗透测试、安服、漏洞、注入、XSS、CSRF、SSRF、文件上传、文件下载、文件包含、XXE、逻辑漏洞、工具、SQLmap、NMAP、BP、MSF…

 因篇幅有限，仅展示部分资料，需要保存下方图片，微信扫码即可前往获取