![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
MapReduce
兮小熙
这个作者很懒,什么都没留下…
展开
-
Hadoop平台执行Wordcount程序
之前搭建好了hadoop的伪分布式环境,今天跑一下hadoop自带的wordCount程序1.在root目录下新建一个文本文档命名为test ,输入一段英文到此文本中 2.将文本文件上传到 hdfs 文件系统中的 input 目录下,打开命令行,输入如下命令hadoop fs -copyFromLocal /root/test input(注:如果 dfs 中不包含 input 目录的话就原创 2017-02-22 16:44:50 · 1050 阅读 · 0 评论 -
Hadoop集群模式下运行Mapreduce任务
写了一个Hadoop权威指南中MapReduce处理天气数据的Demo一.MapReduce执行过程map前 map后 mapreduce流程图二.编写Mapper和Reducer类MaxTemperatureMapper MaxTemperatureReducer//mapperimport java.io.IOException;import org.apache.hadoop.io.原创 2017-04-19 17:18:21 · 4486 阅读 · 0 评论 -
Hadoop MapReduce原理
hadoop核心类(五个)1.hdfs :数据存储 Namenode:org.apache.hadoop.hdfs.server.namendoe.NameNode DataNode:org.apache.hadoop.hdfs.server.datanode.DataNode SecondaryNameNode:org.apache.hadoop.hdfs.server.namendoe.S原创 2017-05-20 15:33:59 · 335 阅读 · 0 评论