日志文件是网络设备、操作系统、应用程序等在运行过程中自动生成的记录文件，它详细记载了系统操作、事件、错误、警告等信息。操作人员需要全面分析来自各类网络设备和主机的日志，以识别并应对安全威胁。然而，对于新手来说，这项工作常常让他们感到无从下手，难以找到合适的起点。为此，作者经过多年研究与实践，撰写了《Unix/Linux网络日志分析与流量监控》，该书通过丰富的案例指导，帮助读者提升日志分析的效率，更好地应对网络安全挑战。本文将这本书中有关网络日志分析基础部分总结出来分享给大家。
一、日志分析的价值
网络日志文件的分析工作在许多环境中被系统管理员忽视。 日常维护和紧急事件响应占据了他们的主要时间，导致对日志文件的定期检查不足。 管理员对日志文件格式和分析流程的不熟悉，进一步放大了这一问题。 这种疏忽可能导致关键事件记录缺失（例如，未启用详细日志记录），进而加大企业网络的安全隐患。 如果对日志文件分析工作不重视，这种忽视往往会持续存在，直到下一个更大的网络安全事件发生，才会引起关注，从而形成一种恶性循环。下面将阐述网络日志文件在多种应用场景中的价值。
1）威胁检测与报警：日志分析功能强大，能够实时监控网络流量与系统行为，迅速捕捉诸如端口扫描、恶意软件传播及数据泄露等异常事件。例如，通过分析防火墙和入侵检测系统（IDS）的日志，可以检测到潜在的攻击行为。
2）攻击路径追踪：攻击者在入侵过程中会留下痕迹，而日志文件记录了这些痕迹。通过分析日志，可以追踪攻击者的路径，还原攻击过程，从而采取更有效的防御措施。
3）故障排查与性能优化：日志文件记录了系统的运行状态，一旦网络设备遭遇故障，日志分析便成为快速定位问题症结的得力助手。此外，通过对日志数据的分析还可以发现系统瓶颈，优化资源配置。
4）审计与合规：日志文件记录了用户的登录、访问、操作等行为，是进行安全审计和合规检查的重要依据。
二、日志文件的特征
多种类型的日志文件由不同的应用程序，所以日志看似“又乱又杂”，例如操作系统日志，包括但不限于 UNIX/Linux 系统和部分 Windows 系统的日志，提供了丰富的系统事件记录。 应用程序日志则详尽记录了身份验证尝试失败、应用程序异常状况及配置修改记录等关键信息。 本文重点是网络日志文件分析，以期通过解读网络连接成功与失败等网络事件的记录，深入了解网络活动。 本文重点讨论网络日志分析，但不可忽视的是，操作系统日志等其他类型的日志同样蕴藏着与网络行为相关联的重要信息。当系统管理员激活日志记录功能后，防火墙、路由器以及入侵检测系统等网络设备便会生成详尽的日志记录。
在进行日志分析时，面临的主要挑战在于不同来源的数据内容差异显著。即便是同一事件，不同设备或应用程序所记录的日志也可能大相径庭。 从仅包含时间戳、源/目的地址和端口的简略记录，到包含详细的IP/TCP特征以及事件重要性评估的全面记录，其信息量差异巨大。 这种格式和内容上的差异，加之日志数据的庞大体量，常常让初学者感到难以上手。
三、日志文件的作用
前文已阐述日志文件所记录数据的类型。日志文件之核心作用在于记录关键事件及值得关注的异常情况。 日志文件在事故处理、入侵检测、事件关联分析及全面故障诊断等方面均发挥着至关重要的作用。
- 事故处理
网络日志文件在数据分析中扮演着关键角色。例如，面对网络设备攻击报告，网络管理员可通过分析日志识别受损主机及潜在攻击方法。 Web页面篡改事件的调查则需要系统管理员检查目标Web服务器日志，并可能扩展至其他设备的日志，以追踪恶意流量的传播路径。 此类分析为事故处理揭开了攻击行为与攻击者特征的神秘面纱，深刻彰显了网络日志在事故处理中不可或缺的重要地位。 实战案例：网络日志分析场景四：Web服务器入侵。
网络日志文件在电子数据取证中扮演着至关重要的角色，它们记录了系统日常运行状况和安全性能，是打击计算机犯罪不可或缺的线索和证据来源。其安全管理直接关系到事故调查的成功与否。 因此，网络管理员或相关人员必须在事故发生后第一时间进行备份和保护，防止数据丢失或被恶意篡改。 日志文件的分析如同明灯，不仅能照亮事故处理的道路，还能在攻击萌芽之际洞察潜在威胁，这正是入侵检测机制的神奇之处。
- 入侵检测
实时监控网络设备日志是有效入侵检测的关键。 传统的被动式日志分析方法难以应对快速演变的网络攻击。 通过自动化、持续地监控日志数据，系统能够在网络扫描、探测或入侵事件发生时立即发出警报，从而实现及时响应。 这种主动监控机制能够在事件发生初期就收集到大量关键信息，为后续的事故处理提供重要的依据。 即使是简单的防火墙和路由器日志，其记录的被阻止连接或报文数据，经统计分析（例如按源/目标IP地址或目标端口分组）后，也能有效地识别潜在的恶意活动。
在入侵检测分析过程中，我们通常会将来自多个应用的日志信息进行分析，以便更全面地理解攻击的全貌。这就是事件关联的价值所在。
- 事件关联
在执行事故处理和入侵检测的过程中，事件关联发挥着至关重要的作用。当我们讨论事件关联时，意味着同时利用来自各种设备或应用程序的多个日志是可行的，通过事件关联，我们能够明确发生了什么事情。例如，通过关联不同的事件，如果你的电子邮件服务器遭受攻击，你可以搜索路由器、防火墙等设备的网络日志，寻找与该攻击事件相关的证据，如尝试建立到邮件服务器的连接，或攻击者试图连接到网络上的其他主机。
通过事件关联，我们能够更全面地理解网络中的异常行为。而当这些分析用于解决网络中的实际问题时，日志文件的作用就更加明显，尤其是在综合故障诊断中。
- 综合故障诊断
网络日志文件通常不会单独进行分析，而是在出现重大故障后，在攻击者所经过的设备和应用上进行相关路径上分析。例如，假设某个用户抱怨应用程序XYZ无法从外部服务器下载数据。通过获取计算机的IP地址和应用程序的使用时间，结合服务器日志，可以快速定位并搜索防火墙日志，以识别网络问题、防火墙配置错误或服务器过载等原因导致的被拒绝连接尝试。
倘若防火墙对所有允许的连接均进行了日志记录，且你能在日志中寻得通往远程站点的有效连接记录，那么可初步推断问题可能源自远程服务器或应用程序XYZ本身，而非本地网络配置。这种分析方法有助于快速定位问题，节省排查时间。
通过以上几个方面的分析，我们可以看到网络日志文件在事故处理、入侵检测、事件关联和故障诊断中都发挥着不可或缺的作用。这些功能不仅帮助我们应对安全威胁，还优化了网络的性能和稳定性。
注意 在大多数环境中，将防火墙配置成记录所有允许的连接是不可能的，这是因为，如果这样做的话，会对资源和性能产生负面影响。然而，在对问题进行故障诊断时，临时将防火墙配置成记录所有连接会对故障诊断有所帮助。
四、日志记录的内容
大多数系统通过网络日志文件记录几个关键点，这些信息均与被视为重要的连接和报文紧密相关；
l时间戳，典型情况下包括日期，以及以秒或毫秒为单位的时间。
l基本的IP特征，如源地址、目标地址和IP协议（TCP、UDP、ICMP等）。
此外，大多数日志给出了对于事件为什么被记录的某种原因。然而，这在不同的日志格式中会有所不同，会包含一些不相互兼容的私有信息例如：
l描述性文本解释（不同厂家不同版本的设备描述都不完全一样）。
l匹配流量的规则号。
l执行的动作，如接受、丢弃或者拒绝连接。
即便收集到这些内容，处理起来也颇为棘手。对当前条目的分析显示，尽管数据量尚小，但已初露端口扫描、主机扫描或连接失败尝试的端倪。 为进行更全面的分析，需获取更多与事件相关的补充数据。
网络日志文件记录的信息不仅包括关键的数据，还可能出现的其他类型的数据包括：
lIP特征，特别是IP标识号和存活时间（TTL）。
lTCP特有的特征，如标志（SYN、ACK等），TCP窗口大小及TCP顺序号。
l捕捉事件的网络接口名（如eth0，ens33等）。
l有效负载。
这些附加字段可以提供例如，存活时间和TCP窗口大小可用于执行操作系统指纹鉴别，以确定攻击者可能使用的操作系统（但有时的攻击者可以修改TTL值）。
TCP标志可能表明攻击者的意图；特定的标志组合有可能表示这些报文正在尝试避开防火墙或IDS。下面一个张日志报警截图：
五、日志文件中被忽视的信息
网络设备的日志中会记录所有内容？其实，网络设备的日志记录功能通常受限于其处理能力和资源消耗。 由于设备的处理能力和资源限制，往往难以对完整有效负载进行深度分析和记录。为了更全面地获取网络流量信息，进而优化性能和提升安全性，我们需要采取超越设备自身日志功能的额外措施。 完整的报文头信息以及所有相关数据都应被记录，而非仅记录部分数据包头的数据。 鉴于现有网络设备或主机日志通常不包含完整报文信息，因此，我们需要借助如arkime、tcpdump等专用数据包捕获工具，以实现报文的完整捕获。
然而，在多数实际环境中，由于网络流量巨大，往往无法对所有报文进行记录。同时，一些公司出于安全考虑，制定了禁止记录所有流量的策略。
大多数执行网络日志记录的设备并不同时进行底层协议解码。以DNS请求为例，网络日志可能显示主机10.20.30.40向主机172.30.128.12的UDP端口53发送报文。尽管端口53通常用于DNS请求，但实际上并不能仅凭此确认该请求就是DNS请求。在出现网络入侵时，仅凭这点信息是完全不够的，我们就需要更为强大的工具如上面说的Arkime（软件安装点击这里）。
网络日志设备主要负责记录网络流量和事件，但它们不会对协议进行解码或验证。这些任务通常由IDS（入侵监测系统）或代理防火墙来完成。其中，代理防火墙的一个重要特性是Web代理功能，它可以记录用户访问的URL。如果存在利用HTTP弱点的蠕虫传播，其他边界设备可能只能记录端口80上的连接尝试，但Web代理会记录蠕虫实际使用的URL。这种详细的记录对于确定攻击的性质和范围至关重要。
六、获取合适的数据
在利用日志时，将二进制日志文件转换为文本格式是一个明智的选择，例如，可以转换为制表符分隔或逗号分隔的值格式。完成日志文件的格式转换后，下一步便是寻找相关日志条目，并据此生成报告。可以通过两种方法来达到这个目的：
l使用搜索工具（如grep或sed）来仔细检查日志文件中（匹配或不匹配特定字符串或正则表达式）的记录。关于搜索工具的实战应用大家可以参考《Unix/Linux网络日志分析与流量监控》第一章。
l从日志文件中将部分或全部数据导入数据库，然后通过数据库来搜索和分析该数据，比较常见的方法一个是使用基于OSSIM插件的日志采集分析，另一个是基于ELK的日志存储系统。
在决定使用哪种方法时需要考虑几个因素，包括你自己的偏好。性能是首要考虑的因素之一，特别是在处理海量记录时，选择一种高效的处理方法至关重要。选择取决于日志条目的数量、搜索和分析的复杂度，以及可用的工具和数据库。
七、日志分析工具
前面讲过靠人工来手动分析日志的基础知识和技巧，主要凭借的是技术人员的经验和直觉发现潜在的问题，如果你想成为职业取证分析师，那么这些技能是不可或缺的。但大多数人希望能速成，希望快速解决问题，他们根本就没时间来练习基本，希望通过一个软件或一个平台就能独立解决问题。他们认为，在大型企业网络中，每天可能生成数百万条日志记录，其中仅少数与安全威胁或性能问题相关。手动检查这些日志既耗时又费力，且极易遗漏关键信息。因此，一套高效的日志管理软件成为他们的首选。他们希望这些工具通常具备以下功能：
1.**数据过滤：**通过预设的规则和模式，过滤掉无关的日志条目，只保留可能与安全威胁或性能问题相关的记录。
2.**实时监控：**实时分析日志数据，及时发现异常行为并发出警报，以便管理员能够迅速响应。
3.**数据可视化：**将日志数据以图表、报表等形式直观展示，帮助管理员快速理解网络状态和潜在问题。
4.记录原始日志（RAW Log）
尽管自动化工具能够提取有价值的日志条目，但原始日志文件仍然非常重要。有时，异常日志条目仅仅揭示了问题的一角，其背后的真正原因可能潜藏于其他相关联的日志条目之中。例如，一个异常的登录尝试可能与之前的多次失败尝试有关，这些尝试可能分散在不同的日志条目中。因此，管理员需要保留原始日志文件，以便在需要时进行更深入的分析。此外，原始日志文件在法律调查和合规性检查中也具有重要价值，作为证据支持安全事件的调查和处理。
在当今的IT运维和安全管理中，日志分析是不可或缺的一部分。市场上有许多日志分析工具，从开源工具（如OSSIM和ELK）到商业解决方案（如Splunk）。开源工具往往成本较低且极具灵活性，允许用户根据自身需求进行定制化开发。然而，它们也可能需要更多的技术投入来进行部署和维护，包括一定的Linux系统操作能力和脚本编写技能。而商业解决方案则通常具有更好的性能和更完善的技术支持，但成本较高。对于希望深入了解开源工具的读者，可以参考《开源安全运维平台OSSIM最佳实践》一书，书中系统地介绍了OSSIM的部署、配置和使用方法。
八、总结
掌握日志分析的基础知识对于理解和运用日志分析工具至关重要。日志文件包含多种特性，涉及格式、来源以及记录细节等要素。通常，日志文件记录了诸如时间戳、事件类型、事件描述等关键信息。然而，单独审视任何一个指标都可能显得单调乏味。在实际操作中，管理员必须综合考量多个维度，以达成高效且全面的日志分析。对于初学者而言，可以参考笔者所著的《Unix/Linux网络日志分析与流量监控》一书中的众多网络攻防案例，将本文所介绍的日志分析知识融会贯通，以达到触类旁通的效果。
网络安全学习路线&学习资源
网络安全的知识多而杂，怎么科学合理安排？
下面给大家总结了一套适用于网安零基础的学习路线，应届生和转行人员都适用，学完保底6k！就算你底子差，如果能趁着网安良好的发展势头不断学习，日后跳槽大厂、拿到百万年薪也不是不可能！
初级网工
1、网络安全理论知识（2天）
①了解行业相关背景，前景，确定发展方向。
②学习网络安全相关法律法规。
③网络安全运营的概念。
④等保简介、等保规定、流程和规范。（非常重要）
2、渗透测试基础（一周）
①渗透测试的流程、分类、标准
②信息收集技术：主动/被动信息搜集、Nmap工具、Google Hacking
③漏洞扫描、漏洞利用、原理，利用方法、工具（MSF）、绕过IDS和反病毒侦察
④主机攻防演练：MS17-010、MS08-067、MS10-046、MS12-20等
3、操作系统基础（一周）
①Windows系统常见功能和命令
②Kali Linux系统常见功能和命令
③操作系统安全（系统入侵排查/系统加固基础）
4、计算机网络基础（一周）
①计算机网络基础、协议和架构
②网络通信原理、OSI模型、数据转发流程
③常见协议解析（HTTP、TCP/IP、ARP等）
④网络攻击技术与网络安全防御技术
⑤Web漏洞原理与防御：主动/被动攻击、DDOS攻击、CVE漏洞复现
5、数据库基础操作（2天）
①数据库基础
②SQL语言基础
③数据库安全加固
6、Web渗透（1周）
①HTML、CSS和JavaScript简介
②OWASP Top10
③Web漏洞扫描工具
④Web渗透工具：Nmap、BurpSuite、SQLMap、其他（菜刀、漏扫等）
恭喜你，如果学到这里，你基本可以从事一份网络安全相关的工作，比如渗透测试、Web 渗透、安全服务、安全分析等岗位；如果等保模块学的好，还可以从事等保工程师。薪资区间6k-15k
到此为止，大概1个月的时间。你已经成为了一名“脚本小子”。那么你还想往下探索吗？
7、脚本编程（初级/中级/高级）
在网络安全领域。是否具备编程能力是“脚本小子”和真正黑客的本质区别。在实际的渗透测试过程中，面对复杂多变的网络环境，当常用工具不能满足实际需求的时候，往往需要对现有工具进行扩展，或者编写符合我们要求的工具、自动化脚本，这个时候就需要具备一定的编程能力。在分秒必争的CTF竞赛中，想要高效地使用自制的脚本工具来实现各种目的，更是需要拥有编程能力.
零基础入门，建议选择脚本语言Python/PHP/Go/Java中的一种，对常用库进行编程学习； 搭建开发环境和选择IDE,PHP环境推荐Wamp和XAMPP， IDE强烈推荐Sublime； ·Python编程学习，学习内容包含：语法、正则、文件、 网络、多线程等常用库，推荐《Python核心编程》，不要看完； ·用Python编写漏洞的exp,然后写一个简单的网络爬虫； ·PHP基本语法学习并书写一个简单的博客系统； 熟悉MVC架构，并试着学习一个PHP框架或者Python框架 (可选)； ·了解Bootstrap的布局或者CSS。
8、超级网工
这部分内容对零基础的同学来说还比较遥远，就不展开细说了，贴一个大概的路线。感兴趣的童鞋可以研究一下，不懂得地方可以【点这里】加我耗油，跟我学习交流一下。
网络安全工程师企业级学习路线
如图片过大被平台压缩导致看不清的话，可以【点这里】加我耗油发给你，大家也可以一起学习交流一下。
一些我自己买的、其他平台白嫖不到的视频教程：
需要的话可以扫描下方卡片加我耗油发给你（都是无偿分享的），大家也可以一起学习交流一下。
结语
网络安全产业就像一个江湖，各色人等聚集。相对于欧美国家基础扎实（懂加密、会防护、能挖洞、擅工程）的众多名门正派，我国的人才更多的属于旁门左道（很多白帽子可能会不服气），因此在未来的人才培养和建设上，需要调整结构，鼓励更多的人去做“正向”的、结合“业务”与“数据”、“自动化”的“体系、建设”，才能解人才之渴，真正的为社会全面互联网化提供安全保障。
特别声明：
此教程为纯技术分享！本书的目的决不是为那些怀有不良动机的人提供及技术支持！也不承担因为技术被滥用所产生的连带责任！本书的目的在于最大限度地唤醒大家对网络安全的重视，并采取相应的安全措施，从而减少由网络安全而带来的经济损失！！！
扫一扫
1595
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
