hadoop
Apache-Wang
学习不是灌输,而是点燃
展开
-
【MR】MapReduce 1 与 MapReduce 2(YARN)框架对比
这里转载一篇写的好博文,供大家参考和学习 http://blog.csdn.net/yangjjuan/article/details/74530255?ref=myread一,新旧MapReduce API比较 (1)新的API倾向于使用抽象类,而不是接口,因为这更容易扩展。如在新的API中,Mapper 和Reducer现在都是抽象类。接口只有方法声明而没有方法实现,且要求所有实现类(不包转载 2017-07-17 08:45:28 · 506 阅读 · 0 评论 -
HADOOP学习之路
http://blog.csdn.net/column/details/15856.html转载 2017-07-17 08:50:02 · 1145 阅读 · 0 评论 -
hadoop的搭建
hadoop集群搭建本次搭建的是hadoop-2.6.5,该版本的兼容性较好hadoop的集群搭建有三种方式: 单节点 伪分布式 分布式单节点在一台机器上运行的hadoop,搭建配置简单,这里不详细展开伪分布式安装软件 jdk安装,配置环境变量 vi /etc/profile免秘钥 ssh免秘钥(官网上的写法) ssh localh原创 2017-11-18 11:40:48 · 239 阅读 · 0 评论 -
hadoop2.0的新特性
Hadoop2.0产生背景1、Hadoop 1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题2、HDFS存在的问题 NameNode单点故障,难以应用于在线场景 NameNode压力过大,且内存受限,影响系统扩展性3、MapReduce存在的问题 JobTracker访问压力大,影响系统扩展性 难以支持除MapReduce之外的计算框架,比如S原创 2017-11-18 11:47:09 · 1932 阅读 · 0 评论 -
mapreduce简介
MapReduce为什么叫MapReducemap和reduce,见名知意MapTask和ReduceTaskMR语义“相同”的key为一组,调用一次reduce方法,方法内迭代这一组数据进行计算理解Map 读懂数据 映射为KV模型 并行分布式 计算向数据移动Reduce 数据全量/分量加工 Reduce中可以包含不同的key 相同的Ke原创 2017-11-18 12:16:29 · 569 阅读 · 0 评论 -
mapreduce集群的搭建及安装
mapreduce集群的搭建及安装节点分配NameNode node01 主 node02 从DataNode node02 node03 node04zookeeper node02 node03 node04zkfc node01 node02journalnode原创 2017-11-18 12:21:04 · 1611 阅读 · 0 评论