![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 54
刘信坚的博客
少说话,多做事
展开
-
本地文件运行Hadoop案例(一)
一 Hadoop运行模式(1)本地模式(默认模式): 不需要启用单独进程,直接可以运行, 测试和开发时使用。(2)伪分布式模式: 等同于完全分布式,只有一个节点。(3)完全分布式模式:多个节点一起运行。下面是官网给出的原文:This will display the usage documentation for the hadoop script.Now you are ...原创 2018-10-27 22:09:37 · 1904 阅读 · 2 评论 -
伪分布式(hdfs)运行Hadoop案例(二)
一 介绍HDFS中如下组件:1) NameNode : 存储文件的元数据,如文件名,文件目录结构,文件属性等。2) DataNode: 在文件系统中存储文件块的数据等。3)Secondary NameNode: 用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据的快照。 二 使用HDFS并运行MapReduce程序1 首先将 etc/hadoop/had...原创 2018-10-27 23:52:21 · 617 阅读 · 0 评论 -
伪分布式(yarn)运行Hadoop案例(二)
YARN 上运行 MapReduce 程序1 首先配置yarn-env.shexport JAVA_HOME=/opt/module/jdk1.8.0_144 2 配置 yarn-site.xml <!-- reducer 获取数据的方式 --><property> <name>yarn.nodemanager.aux-servi...原创 2018-10-28 01:11:27 · 337 阅读 · 0 评论 -
MapReduce实战一手写WordCount案例
需求: 在一堆给定的文本文件中统计输出每一个单词出现的总次数如下图所示为MapReduce统计WordCount的分析图:map阶段从文件中读取数据,行号作为key,读取的每行值作为value,将每个key/value对输出给reduce阶段,reduce阶段将map阶段所有执行完的结果进行reduce操作,每个相同的key执行一次reduce方法。代码如下:WordCountM...原创 2018-11-04 13:15:15 · 2139 阅读 · 0 评论