【第22期】观点:IT 行业加班,到底有没有价值?

Hadoop源代码分析(二)包的功能分析

转载 2013年12月05日 09:33:01

下面给出了Hadoop的包的功能分析。

 Package

Dependences

tool

提供一些命令行工具,如DistCparchive

mapreduce

HadoopMap/Reduce实现

filecache

提供HDFS文件的本地缓存,用于加快Map/Reduce的数据访问速度

fs

文件系统的抽象,可以理解为支持多种文件系统实现的统一文件访问接口

hdfs

HDFSHadoop的分布式文件系统实现

ipc

一个简单的IPC的实现,依赖于io提供的编解码功能

参考:http://zhangyu8374.javaeye.com/blog/86306

io

表示层。将各种数据编码/解码,方便于在网络上传输

net

封装部分网络功能,如DNSsocket

security

用户和用户组信息

conf

系统的配置参数

metrics

系统统计数据的收集,属于网管范畴

util

工具类

record

根据DDL(数据描述语言)自动生成他们的编解码函数,目前可以提供C++Java

http

基于JettyHTTP Servlet,用户通过浏览器可以观察文件系统的一些状态信息和日志

log

提供HTTP访问日志的HTTP Servlet

举报

相关文章推荐

Hadoop源代码分析(完整版)

Hadoop源代码分析(一) 关键字: 分布式云计算 Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章,介绍了它们的计算设施。 GoogleCluster:...

hadoop 源码

【转】Hadoop源代码分析(一)经济不行啦,只好潜心研究技术。 Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章,介绍了它们的计算设施。 GoogleCluster: http://research.google.com/archive/googlecluster.h...

程序员升职加薪指南!还缺一个“证”!

CSDN出品,立即查看!

Hadoop源代码分析

Hadoop源代码分析(一) 关键字: 分布式 云计算  Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章,介绍了它们的计算设施。  GoogleCluster...

Hadoop源码解读

Hadoop源代码分析(一) 关键字:分布式云计算 完整文章及图,在我的资源里面,可以去下载。Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章,介

Hadoop-包的功能分析

Package Dependences tool 提供一些命令行工具,如DistCp,archive mapreduce ...
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)