云计算+Hadoop
文章平均质量分 71
Mei
这个作者很懒,什么都没留下…
展开
-
hadoop 优化方向
原文出自:http://wiki.apache.org/hadoop/HadoopResearchProjectsHere are some research project ideas, engineering ideas for new participants, and areas where domain experts from other fields might add a转载 2011-12-07 11:01:11 · 936 阅读 · 0 评论 -
Hadoop HDFS源码学习笔记(六)--fetchBlockByteRange
client端需要从datanode端读取数据,当顺序的读取block的时候,会调用到fetchBlockByteRange函数,该函数中,有一个死循环,在循环内部首先使用函数getBlockAt()获得最新的block的信息,然后选择要链接的datanode的信息得到DNAddrPair类型的对象,从该结构中得到DatanodeInfo以及datanode的InetSocketAddress,然原创 2012-03-19 17:20:21 · 1203 阅读 · 0 评论 -
Hadoop HDFS源码学习笔记(四)
一、首先根据HDFS的API写一段程序,然后是用Eclipse进行debug 单步跟踪,从而查看源码执行流程:import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs原创 2012-03-13 10:26:01 · 1671 阅读 · 0 评论 -
Hadoop HDFS源码学习笔记(五)
3、client端read数据通过调用DFSDataInputStream的read方法,最终调用了DFSInputStream的read方法,而该类主要有两个read函数,分别为:public synchronized int read(byte buf[], int off, int len) throws IOExceptionpublic int read(long pos原创 2012-03-13 16:25:54 · 2190 阅读 · 3 评论 -
Hadoop HDFS源码学习笔记(八)---HdfsProxy
稍微研究了一下HdfsProxy,希望可以了解其机制,简单的实现一个server端首先看一下其开始的流程图:在main函数中首先调用了HdfsProxy的createHdfsProxy,在这个函数中new了一个Configuration,然后加载了hdfsproxy-default.xml文件,该文件中有一些基本的配置,需要用户添加,具体用到了什么后边可以看到。StringUt原创 2012-03-26 18:10:14 · 1362 阅读 · 0 评论 -
Hadoop HDFS源码学习笔记(七)--DFSInputStream -- openInfo
现详细了解openInfo函数的内部实现,以及修改了什么首先给出openInfo的调用序列图:在openInfo函数中,首先会调用DFSClient的callGetBlockLocations,这个函数主要是通过跟namenode的交互,来完成从namenode取得用户请求的file的元数据信息,返回的内容为locatedBlocks接下来会让DFSInputStream更新当原创 2012-03-26 15:06:03 · 2031 阅读 · 0 评论 -
Hadoop HDFS源码学习笔记(三)
继续上一篇blog,进一步分析FileSystem的API,并完善类图3、write 数据FileSystem类有一系列的create方法,其中简单的方法就是给定一个Path对象,然后返回一个用于写入数据的输出流:public FSDataOutputStream create(Path f) throws IOExceptioncreate方法的多个重载版本中主要是允原创 2012-03-08 18:04:59 · 1021 阅读 · 0 评论 -
Hadoop HDFS源码学习笔记(二)
Hadoop文件系统中有一个抽象的文件系统类,HDFS只是其中的一个实现。java抽象类org.apache.hadoop.fs.FileSystem 定义了Hadoop中一个文件系统接口,并且该抽象类有几个具体的实现,例如LocalFileSystem,hdfs.DistributeFileSystem等虽然我们关注的是HDFS的DistributedFileSystem但还是应该集成Fil原创 2012-03-08 12:34:47 · 1463 阅读 · 0 评论 -
Hadoop HDFS源码学习笔记(一)
其实我很害怕阅读源代码,不过得克服自己的恐惧感,所以打算开始阅读HDFS的源码,学习它主要有需要两个方法配合使用一是阅读源码,找到入口函数,然后根据一步步的跳转和关键数据结构的学习来了解 二是运行源码,然后设置断点跟踪执行流程,比如说client端发出ls 命令,然后跟踪此命令执行过程都调用了哪些函数,执行了什么任务,就一目了然了。HDFS的框架结构,在上一篇日志中已经给出来了,这里就不再重复原创 2012-03-05 19:05:57 · 2520 阅读 · 0 评论 -
HDFS小文件处理解决方案总结+facebook(HayStack) + 淘宝(TFS)
一、概述手机图片或者像淘宝这样的网站中的产品图片特点:(1)、大量手机用户同时在线,执行上传、下载、read等图片操作(2)、文件数量较大,大小一般为几K到几十K左右 HDFS存储特点:(1) 流式读取方式,主要是针对一次写入,多次读出的使用模式。写入的过程使用的是append的方式。(2) 设计目的是为了存储超大文件,主要是针对几百MB,GB,甚至原创 2012-03-01 15:25:46 · 5747 阅读 · 3 评论 -
Hadoop启动时出现Unrecognized option: -jvm
接着上一篇文章继续,当我终于解决了namenode -format的问题之后,本以为可以顺利的启动hadoop了,但是却继而遇到了另外一个问题。在执行bin/start-all.sh命令执行过程中,报告一下错误:MyHostName: Unrecognized option: -jvm MyHostName: Could not create the Java原创 2012-02-24 09:48:45 · 2532 阅读 · 0 评论 -
"Hadoop namenode -format" get "java.net.UnknownException"
最近学习Hadoop,在配置过程中总是遇到问题。我是按照官网上的配置伪分布式的方式来进行配置的。当执行到命令bin/hadoop namenode -format 的时候遇到了问题:STARTUP_MSG: Starting NameNode STARTUP_MSG: host = java.net.UnknownHostException: *****原创 2012-02-24 09:34:08 · 652 阅读 · 0 评论 -
Build and Run HDFS
今天再一次配置HDFS,决定记录下来以备不时之需。首先你的电脑需要安装上java JDK 1.6 这一步就不解释了,网上太多资料安装anthttp://ant.apache.org/bindownload.cgi ant 官网地址可以直接下载,使用命令:wget http://archive.apache.org/dist/ant/binaries/apache-ant-1原创 2012-04-20 14:39:24 · 1039 阅读 · 0 评论