hadoop
文章平均质量分 69
jerome_s
靠谱。
展开
-
Hadoop的RPC通信原理
RPC调用;RPC(remote procedure call)远程过程调用;不同java进程间的对象方法的调用。一方称作服务端(server),一方称为客户端(client);server端提供对象,共客户端调用的, 被调用的对象的执行发生在server端。RPC是hadoop框架运行的基础(hadoop是建立在RPC机制之上的,建立c/s模式上的);使用原创 2014-05-15 22:02:01 · 1411 阅读 · 0 评论 -
JobTracker,TaskTracker简述
JobTracker负责接收用户提交的作业,负责启动、跟踪任务执行。JobSubmissionProtocol是JobClient与JobTracker通信的接口。InterTrackerProtocol是TaskTracker与JobTracker通信的接口。原创 2014-05-22 09:45:26 · 1861 阅读 · 0 评论 -
Hadoop介绍
如何看待这张图?我们学过的servlet、filter、listener等。这是javaweb的基础,重要性不言而喻。但是,实际工作中很少写这些东西,都是使用上层框架,如struts2做开发。上图中的4、5就类似于servlet等,周边的框架类似于struts2。工作中更多的使用框架,但是hadoop也必须清楚。原创 2014-05-18 08:35:45 · 867 阅读 · 0 评论 -
HDFS的读数据过程分析
我们继续在 FileSystem 类分析,读数据使用的是 open(…)方法,我们可以看到源码我们继续在 FileSystem 类分析,读数据使用的是 open(…)方法,我们可以看到源码原创 2014-05-21 12:57:42 · 1131 阅读 · 0 评论 -
HDFS的写数据过程分析
HDFS的写数据过程分析我们通过FileSystem类可以操控HDFS, 那我们就从这里开始分析写数据到HDFS的过程。在我们向 HDFS 写文件的时候,调用的是 FileSystem.create(Path path)方法,我们查看这个方法的源码,通过跟踪内部的重载方法,可以找到原创 2014-05-21 09:23:02 · 1636 阅读 · 0 评论 -
使用java操作HDFS
新建Java Project;1,右击项目,属性,Java Build Path,Libraries,Add External JARs(haddopp根目录下的所以jar);2,做一下项目关联,关联之前用eclipse看源码的那个项目,这样没什么其他的作用,就是为了要看源码,可以直接点过来。 右击项目,属性,Java Build Path,Projects,Add 选择看之前原创 2014-05-15 09:22:16 · 945 阅读 · 0 评论 -
Combiners和Partitioner编程
Combiners的作用: 每一个map可能会产生大量的输出,combiner的作用就是在map端对输出先做一次合并,以减少传输到reducer的数据量。原创 2014-05-21 18:03:27 · 933 阅读 · 0 评论 -
分析MapReduce执行过程+统计单词数例子
MapReduce 运行的时候,会通过 Mapper 运行的任务读取 HDFS 中的数据文件,然后调用自己的方法,处理数据,最后输出。Reducer 任务会接收 Mapper 任务输出的数据,作为自己的输入数据,调用自己的方法,最后输出到 HDFS 的文件中。整个流程如图原创 2014-05-21 08:57:06 · 3729 阅读 · 0 评论 -
HDFS:NameNode、DataNode、SecondaryNameNode
速度原创 2014-05-18 09:02:26 · 1910 阅读 · 0 评论 -
windows下Eclipse操作MapReduce例子报错:Failed to set permissions of path: \tmp\hadoop-Jerome\mapred\staging\
windows下Eclipse操作MapReduce例子报错:原创 2014-05-18 22:20:30 · 1719 阅读 · 0 评论 -
使用shell操作HDFS
前提是都已经配置好了,可以参考原创 2014-05-18 09:45:01 · 1043 阅读 · 0 评论 -
MapReduce:并行计算框架
MapReduce 是 Hadoop 的核心组成,是专用于进行数据计算的。重点掌握实现 MapReduce 算法的步骤,掌握 map、reduce 函数的特点、如何写函数。如果我们把 MapReduce 拆开看,就是两个单词 map 和 reduce。在本书中,map 翻译为“映射” ,reduce 翻译为“归约” 。原创 2014-05-19 09:27:15 · 2452 阅读 · 0 评论 -
通过一个例子了解MapReduce
写MapReduce程序的步骤: 把问题转化为MapReduce模型;设置运行参数;写map类;写reduce类;原创 2014-05-19 08:30:35 · 1746 阅读 · 0 评论 -
Hadoop 伪分布式安装、运行测试例子
在eclipse中阅读源码非常方便,利于我们平时的学习,下面讲述如何把hadoop源码导入到eclpse的java工程中。解压源码首先,我们在windows下使用winrar把hadoop-1.1.2.tar.gz解压,如图1所示图1 我们关注文件夹src,浏览该文件夹,如图2所示图2我们需要这三个文件夹,一会我们会把这三个文件夹复制到eclipse中。创建原创 2014-05-14 12:27:08 · 1205 阅读 · 0 评论