Hadoop2.9.2 WordCount单词计数

最新推荐文章于 2021-11-21 10:18:13 发布
最新推荐文章于 2021-11-21 10:18:13 发布
阅读量459 收藏 1
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_39070454/article/details/88856463
版权

  1. 找到examples例子
    我们需要找到含有这个jar文件的位置hadoop-mapreduce-examples-2.9.2.jar，如下图：
    在这里插入图片描述

  2. 在HDFS创建数据目录
    在这里插入图片描述

  3. 目录/data/wordcount用来存放数据文件，首先创建文件jungkook.txt文件
    在这里插入图片描述
    新建完成，查看文件内容
    在这里插入图片描述
    将本地文件上传到HDFS中：
    在这里插入图片描述
    查看上传后的文件情况：
    在这里插入图片描述
    通过命令，看到如下内容
    在这里插入图片描述

  4. 运行Wordcount例子，执行如下图命令
    在这里插入图片描述
    我们可以看到控制台输出程序运行的信息：
    在这里插入图片描述
    在这里插入图片描述

  5. 查看结果，执行如下命令：
    在这里插入图片描述
    结果数据如下：
    在这里插入图片描述

Minam SU
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop实例-----统计单词个数
FutureFlyme的博客
09-30 4282
下面来讲一个hadoop的实例，统计文件words.txt中单词的个数。 一、环境需求： 1、虚拟机itcast01 2、在虚拟机itcast安装eclipse(注意是linux版本的，安装过程参考前面的博客) 二、过程 1、在itcast01虚拟机上创建文件words.txt文件，并写入一定数据，保存。 2、start-all.sh开启Hadoop服务，hadoop fs -put w
hadoop单词统计
weixin_45732058的博客
11-15 2839
hadoop单词统计一.hadoop环境搭建二.hadoop单词统计 本篇文章简单实现hadoop功能之一WordCount统计单词，若未搭建hadoop环境建议参考下方链接搭建好环境再进一步操作。 一.hadoop环境搭建 建议参考《Hadoop的搭建，VmwareWorkstation 16pro + Ubuntu18.04.1》, https://blog.csdn.net/qq_43249582/article/details/116757548?utm_source=app&app_ver
Hadoop经典案例——单词统计
CHEN的博客笔记
11-20 1万+
通过 Hadoop经典案例——单词统计，来演示 Hadoop集群的简单使用。 (1）打开 HDFS 的 UI,选择Utilities→Browse the file system查看分布式文件系统里的数据文件，可以看到新建的HDFS上没有任何数据文件。 (2）先在集群主节点namenode上的/export/data/目录下，执行“vi word. txt”指令新建一个 word. txt文本文件，并编写一些单词内容。 [root@namenode data]# vi word.txt 接
Hadoop——练习1(统计单词个数)
weixin_45890771的博客
09-29 1312
1、启动Hadoop cd /opt cd hadoop ./sbin/start-all.sh jps 2、创建一个txt,存入英文单词 vi blue i(输入)——>est键(退出)——wq(保存) 3、使用 put 操作将“blue”文件上传到 HDFS 的根目录 hadoop fs -put blue /blue 4、使用 jar 操作运行 Hadoop 中自带的 jar 进行单词计数 cd hadoop/share/hadoop/mapred...
运行 MapReduce 样例
实践求真知
12-17 5591
一 hadoop样例代码 1 样例程序路径 /opt/hadoop-2.7.4/share/hadoop/mapreduce 2 样例程序包 hadoop-mapreduce-examples-2.7.4.jar包含着数个可以直接运行的样例程序 3 如何查看样例程序 ./bin/yarn jar /opt/hadoop-2.7.4/share/hadoop/mapreduce/hado
hadoop2.9.2 eclipse插件
02-28
hadoop2.9.2 eclipse插件，里面有说明。1、使用hadoop-eclipse-plugin-2.9.2.jar该eclipse插件，可以访问远程的hdfs 2、使用hadoop-eclipse-plugin-2.9.2-local.jar，访问本地的文件系统 3、wintuils_hadoop.zip本地...
Hadoop下载 hadoop-2.9.2.tar.gz
07-06
Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo 的工程师 Doug Cutting 和 Mike Cafarella Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo...
大数据实验报告Hadoop编程实现wordcount单词统计程序附源码.doc
12-06
大数据实验报告 Hadoop 编程实现 wordcount 单词统计程序附源码 本实验报告旨在介绍使用 Hadoop 编程实现 wordcount 单词统计程序的步骤和代码实现。实验的目的在于熟悉 Hadoop 虚拟机的安装与环境的配置，初步理解...
使用hadoop实现WordCount实验报告.docx
06-10
使用hadoop实现WordCount详细实验报告，配有环境变量配置截图以及实验运行及结果详细过程描述与截图
hadoop2.9.2 linux 64位编译包地址
02-28
附件hadoop2.9.2 linux 64位编译包地址下载地址，有需要的可以下载使用 https://pan.baidu.com/s/1b2LTvLm9N3fxaQVIeyvu1w 不用下载扣积分
Hadoop实战——MapReduce对英文单词文本进行统计和排序（超详细教学，算法分析）
热门推荐
小袁同学的博客
11-10 1万+
用IDEA编写MapReduce程序，生成Jar包，启动Hadoop，执行Jar包程序，在HDFS文件系统中查看单词统计和排序结果
hadoop集群-单词统计
qq_45855554的博客
11-21 3133
1.在用Hadoop进行单词统计前，要做好Hadoop的集群部署 输入上述命令，就能在浏览器中分别访问namenode:50070(namenode指的是你主节点的名字，这里我的主节点名字是namenode，50070是端口号）和namenode:8088,由此查看HDFS和YARN的web界面。如图所示： 接下来我们就可以进行单词统计啦。 2.首先，打开HDFS网页端，选择Utilities->Browse the file system 3.找一篇英语文章的TX..
Hadoop 2.9.0 伪分布式搭建，并运行wordcount 的一些坑
leokingszx的博客
01-14 1606
1、前期建立java环境，安装hadoop的掠过不谈。只要输入jps命令后，能出现类似于 6528 NodeManager 6227 SecondaryNameNode 6035 DataNode 7398 Jps 5914 NameNode 6410 ResourceManager 的就行了。 如果没有NameNode，可以参考http://blog.csdn.net/dongzhongy...
Hadoop-2.9.2运行WordCount.jar实现单词计数功能
sailorPan
12-03 550
编写WordCount.java文件 //Java Code import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.ap...
WordCount2.2
diutongwei3988的博客
10-17 94
说明： 合作者：201631062507 201631062526（学号） 代码地址：https://gitee.com/WordCountMC/WordCountTeam 本次作业链接：https://edu.cnblogs.com/campus/xnsy/2018Systemanalysisanddesign/homework/2188 合作者博客地址（含结对部...
hadoop2.0 wordcount代码讲解
鲍礼彬的CSDN博客 ~_~
02-02 1770
hadoop2.0  wordcount代码讲解 本代码从hadoop-2.6.0里面拷贝出来的。 完整代码如下： /** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * di
Hadoop之MapReduce单词计数经典实例
Land is there, but I will build another Land
02-20 1722
MapReduce实现单词计数示意图MapReduce实现单词计数实例代码（Java）①Mapperimport java.io.IOException;import org.apache.commons.lang.StringUtils; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; impo
使用Hadoop实现单词统计
cchangcs
10-08 3272
使用Hadoop实现单词统计本篇博客介绍使用Hadoop实现单词统计（来源：慕课网学习），下面是具体步骤： 1.创建目录hadoop fs -mkdir input hadoop fs -mkdir word_count_class2.复制博客末尾的代码到Java文件，命名WordCount.java，并运行如下命令编译java文件javac -classpath /opt/hadoop-1.2
单词计数程序在hadoop上的实现
勇的博客
06-24 744
在给定的文本中统计相同单词的出现次数（hadoop平台运行） 截图如下：
hadoop 2.9.2 windows版本
最新发布
10-28
Hadoop 2.9.2是Hadoop的一个版本，针对于Windows操作系统进行了优化。 Hadoop 2.9.2 Windows版本在功能上与其他操作系统版本保持一致，支持分布式计算和存储，并具有容错性。Windows版本还提供了对Windows文件系统...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值