HADOOP简介和推荐书籍

hadoop是一个分布式系统框架,由APACHE基金会所开发。(能够对大量数据进行分布式处理的软件框架)

特点:有高容错性,可以应用在低廉的硬件上

            高吞吐量来访问应用程序的数据,适合那些有超大数据集的应用

           以流的形式访问系统文件数据

          工作高效,以并行的方式工作

          可靠性,假设计算元素和存储会失败,因为它维护多个数据工作副本,会正对失败的节点重新分布处理,

HADOOP框架的核心:HDFS(hadoop file system):hadoop文件系统为海量数据提供存储                                    

                                        MapReduce:用于海量数据的计算

hadoop处理大数据的意义

    hadoop之所以广泛运用主要在于它对数据的提取,变行和加载。hadoop的分布式结构将大数据处理引擎尽量靠近存储。MapRedece将任务打碎成多个小块,并将碎片任务发送到多个节点上,再以单个数据集的形式加载到数据仓库里

   

 

推荐的书:《HADOOP 权威指南》,《HADOOP 实战》

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值