基于Hadoop海量日志的入侵检测技术

基于Hadoop海量日志的入侵检测技术

• Hadoop相关技术
• Web日志
• 基于 Hadoop海量日志的入侵检测算法
• 基于 Hadoop量日志的入侵检测系统的实现

Hadoop简介

Hadoop是一个项目的总称，是开源实现的谷歌的集群系统。由于在 Hadoop中实现了HDFS文件系统和 MapReduce编程模型，使得它成为了一个分布式的计算平台。当用户想要运行一个分布式程序时，只需要编写一个类继承自MapReduceBase，同时再实现Map和 Reduce，然后对Job进行注册就可以了。
Hadoop首先是一个分布式的文件系统，能够实现存储的功能，但它的作用不限于此，它同时也是一个能够执行分布式程序的大型框架，它的执行环境一般是由数目众多的计算设备组成的大规模集群。

HDFS文件系统

HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是 Hadoop主要应用的一个分布式文件系统。在HDFS架构中有 NameNode和 DataNode两种节点。这两类节点分别承担 Master和 Worker的任务。

MapReduce并行计算框架