hadoop是一个分布式系统框架,由APACHE基金会所开发。(能够对大量数据进行分布式处理的软件框架)
特点:有高容错性,可以应用在低廉的硬件上
高吞吐量来访问应用程序的数据,适合那些有超大数据集的应用
以流的形式访问系统文件数据
工作高效,以并行的方式工作
可靠性,假设计算元素和存储会失败,因为它维护多个数据工作副本,会正对失败的节点重新分布处理,
HADOOP框架的核心:HDFS(hadoop file system):hadoop文件系统为海量数据提供存储
MapReduce:用于海量数据的计算
hadoop处理大数据的意义
hadoop之所以广泛运用主要在于它对数据的提取,变行和加载。hadoop的分布式结构将大数据处理引擎尽量靠近存储。MapRedece将任务打碎成多个小块,并将碎片任务发送到多个节点上,再以单个数据集的形式加载到数据仓库里
推荐的书:《HADOOP 权威指南》,《HADOOP 实战》