Royi的博客

一. 简介Apache Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。可以让用户在不了解分布式底层细节的情况下，开发出可靠、可扩展的分布式计算应用。Apache Hadoop 框架，允许用户使用简单的编程模型来实现计算机集群的大型数据集的分布式处理。它的目的是支持从单一服务器到上千台机器的扩展，充分利用了每台机器所提供本地计算和存储，而不是依靠硬件来提供高可用性。...

一. 背景及需要实现的功能：1. 按照固定格式采集日志【Hadoop+Flume+log4j进行数据采集】2. 日志数据清洗【定时器+MapReduce+Java/Spark+Scala，从Hadoop读取数据并处理后，存储到Hbase】3. 数据查询接口【以服务的方式提供数据查询接口】4. 日志服务部署【需要部署到linux上】 二. 架构： 三. hadoop和...