Hadoop源码阅读之三个核心模块代码组织情况(一)

(一)Hadoop下三大核心项目说明:
1.Common----Hadoop项目的core部分更名为Hadoop Common。Common为Hadoop的其他项目提供了一些常用的工具,主要包括系统配置工具Configuration、远程过程调用RPC、序列化机制和Hadoop抽象文件系统FileSystem等。它们在通用硬件上搭建云计算环境提供的基本的服务,并为之该平台上的软件开发提供了所需的API。
2. HDFS----HDFS是Hadoop体系中数据存储管理的基础。它是一个高度容错的系统,能检测和应对硬件故障,用于低成本的通用硬件上运行。HDFS简化了文件的一致性模型,通过流式数据访问,提供高吞吐量应用程序数据访问功能,适合带有大型数据集的应用程序。

3. MapReduce----MapReduce是一种计算模型,用以进行大数据量的计算。

(二)三大核心项目目录结构

1.Common: 源码位于src/core文件夹下
src/core:
    --org.apache.hadoop
        --classification
        --conf
        --filecache(空)
        --fs
            --ftp
            --kfs
            --permission
            --s3
            --s3native
            --shell
        --http
            --lib
        --io
            --compress
                --bzip2
                --snappy
                --zlib
            --file.tfile
       
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值