刘信坚的博客

一 Hadoop运行模式（1）本地模式（默认模式）：  不需要启用单独进程，直接可以运行， 测试和开发时使用。（2）伪分布式模式：  等同于完全分布式，只有一个节点。（3）完全分布式模式：多个节点一起运行。下面是官网给出的原文：This will display the usage documentation for the hadoop script.Now you are ...

一 介绍HDFS中如下组件：1） NameNode : 存储文件的元数据，如文件名，文件目录结构，文件属性等。2） DataNode: 在文件系统中存储文件块的数据等。3）Secondary NameNode: 用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。 二 使用HDFS并运行MapReduce程序1 首先将 etc/hadoop/had...

YARN 上运行 MapReduce 程序1  首先配置yarn-env.shexport JAVA_HOME=/opt/module/jdk1.8.0_144 2 配置 yarn-site.xml <!-- reducer 获取数据的方式 --><property> <name>yarn.nodemanager.aux-servi...

需求： 在一堆给定的文本文件中统计输出每一个单词出现的总次数如下图所示为MapReduce统计WordCount的分析图：map阶段从文件中读取数据，行号作为key，读取的每行值作为value，将每个key/value对输出给reduce阶段，reduce阶段将map阶段所有执行完的结果进行reduce操作，每个相同的key执行一次reduce方法。代码如下：WordCountM...