雪泪寒的博客

（一）MapReduce简单介绍MapReduce是一种分布式的计算模型，主要用于搜索领域，解决海量数据的计算问题它主要由两个阶段组成：Map和Reduce，用户只要实现map()和reduce()两个函数，就可以实现分布式计算这两个函数的形参是key,value对，表示函数的输入信息（二）步骤分析map过程 1.1 读取输入文件内容，解析成key、value对。对输入的文件的每一行，

Remote Procedure Call(简称RPC)：远程过程调用协议 1. 通过网络从远程计算机程序上请求服务 2. 不需要了解底层网络技术的协议（假定某些传输协议的存在，如TCP或UDP） 3. 采用客户机/服务机模式请求程序就是一个客户机，服务提供程序就是一个服务器例子：hadoop RPC机制1.导jar包，/share/hadoop/common 的

log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell).log4j:WARN Please initialize the log4j system properly.log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noc

转载来自：https://blog.csdn.net/core_cto/article/details/8644692浅析 Hadoop 中的数据倾斜最近几次被问到关于数据倾斜的问题，这里找了些资料也结合一些自己的理解. 在并行计算中我们总希望分配的每一个task 都能以差不多的粒度来切分并且完成时间相差不大，但是集群中可能硬件不同，应用的类型不同和切分的数据大小不一致总会导致...

作业提交流程通用的任务程序提交步骤为：1.将程序打成jar包；2.将jar包上传到HDFS上；3.用命令行提交HDFS上的任务程序。最简单的提交命令应该如： hadoop jar /home/hadoop/hadoop-2.2.0/hadoop-examples.jar wordcount inputPath outputPath 主意的是：其中/home/hadoop/h...

1、HDFS副本机制2、MR执行流程3、Hadoop1.0与Hadoop2.0的区别yarn框架 

转自：https://www.cnblogs.com/felixzh/p/8530053.html根据Maneesh Varshney的漫画改编，以简洁易懂的漫画形式讲解HDFS存储机制与运行原理，非常适合Hadoop/HDFS初学者理解。一、角色出演如上图所示，HDFS存储相关角色与功能如下：Client：客户端，系统使用者，调用HDFS API操作文件；与NN交互获取文件元数据；...