MapReduce
简单介绍MapReduce分布式计算
程序员小羽
这个作者很懒,什么都没留下…
展开
-
3.MapReduce—搭建集群
节点结构HOSTNNJNDNZKFCZKRMNMtongyuzhe1***tongyuzhe2******tongyuzhe3*****tongyuzhe4****DN和NM时一一对应的YARN和HDFS没有启动先后关系单机情况必须配置项mapreduce on yarn mapred-site.xml<property> <name>mapreduce.原创 2021-07-19 11:25:51 · 424 阅读 · 0 评论 -
2.MapReduce—YARN原理
HDFS:特征:切块用途:分治最终目的:分布式计算角色:NN--DN(心跳,汇报)重点关注:读写流程MapReduce:计算模型、批量计算Map和Recude是一种阻塞关系Map:单条记录加工处理Reduce:多条记录加工处理想要实现,就需要计算向数据移动,就需要HDFS暴露自己的位置,这就需要JobTracker和TaskTrackerJobTracker:1. 资源管理2. 任务调度TaskTracker:1. 任务管理2. TaskTracker和DN是一一原创 2021-07-19 11:25:03 · 142 阅读 · 0 评论 -
1.MapReduce—原理流程
MapReduceMap: 1.一次只以一条记录为单位做映射 2.不会关心其他行Reduce:以一组为单位计算什么叫做一组: 分组(KEY:VALUE) 键值对是由MAP映射实现的 Reduce计算来自于Map输出例如建立2个Reduce,一个Reduce从全部Map中拉取性别为男的数据。另一个Reduce拉取性别为女的数据。Block块大小CPU:密集型计算(Block块小一点适合)I/O:密集型计算(Block块大一点适合)split切片控制并行度(粒度)每原创 2021-07-19 11:24:27 · 75 阅读 · 0 评论