- Mapreduce优缺点
- 优点:
- 高容错:某一个计算任务在节点a上执行,这个时候如果节点a挂掉了,可以转移到节点b执行这个任务
- 易于编程
- 扩展性好:好多台机器
- 缺点
- 实时计算❌
- 流式计算❌(mapreduce输入的数据是静态的)
- DAG(有向图计算)❌:每个mapreduce的结果都会落地到磁盘
- 优点:
- 执行过程(经典案例wordCountMapReduce的执行流程和编程规范以及简单的WordCount案例
- map阶段 (mapTask)
- reduce阶段(reduceTask)
- 数据块:HDFS物理上把数据分成一块一块
数据切片:只是逻辑上对数据进行切片,并不会再磁盘上将其切分成片进行存储
复习Hadoop之MapReduce
最新推荐文章于 2024-05-25 02:26:10 发布