![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
mas2005
数据挖掘
展开
-
MapReduce剖析笔记之一:从WordCount理解MapReduce的几个阶段(转载)
WordCount是一个入门的MapReduce程序:package org.apache.hadoop.examples;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop...转载 2018-07-20 19:58:40 · 178 阅读 · 0 评论 -
MapReduce 超详细执行流程解读
1、一个大文件需要处理,它在在 HDFS 上是以 block 块形式存放,每个 block 默认为 128M存 3 份,运行时每个 map 任务会处理一个 split,如果 block 大和 split 相同(默认情况下确实相同) , 有多少个 block 就有多少个 map 任务, 所以对整个文件处理时会有很多 map 任务进行并行计算2、 每个 map 任务处理完输入的 split 后...原创 2018-07-20 22:09:24 · 519 阅读 · 0 评论 -
HDFS文件误删除之恢复
启动HDFS的垃圾回收站为了防止误删,一般默认是关闭的,需要我们自己配置文件打开。修改core-site.xml <property> <name>fs.trash.interval</name> <value>1440</value> ...原创 2018-07-21 16:40:47 · 5238 阅读 · 1 评论