大数据之mapreduce
六十三吖
代码也是我生活的一部分
展开
-
Eclipse开发MapReduce
转载:https://blog.csdn.net/qq1010885678/article/details/51325813 通过API操作之前要先了解几个基本知识 基本数据类型 Hadoop的基本数据类型和Java的基本数据类型是不一样的,但是都存在对应的关系 如下图 如果需要定义自己的数据类型,则必须实现Writable hadoop的数据类型可以通过get方法获得对应的j...转载 2018-08-07 20:32:53 · 1175 阅读 · 1 评论 -
mapreduce和yarn
一、第一代hadoop组成与结构 第一代Hadoop,由分布式存储系统HDFS和分布式计算框架MapReduce组成,其中,HDFS由一个NameNode和多个DataNode组成,MapReduce由一个JobTracker和多个TaskTracker组成,对应Hadoop版本为Hadoop 1.x和0.21.X,0.22.x。 1、MapReduce角色分配 C...转载 2018-07-27 15:21:26 · 347 阅读 · 0 评论