eclipse使用hadoop来统计单词的个数

最新推荐文章于 2021-09-29 14:47:47 发布
最新推荐文章于 2021-09-29 14:47:47 发布
阅读量1.5k 收藏 3
点赞数 1
分类专栏： hadoop 文章标签： hadoop eclipse java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010918416/article/details/49019035
版权
本文介绍如何在Eclipse 4.5环境下，结合Hadoop 2.6在Ubuntu系统上进行单词统计。通过分析Hadoop自带的WordCount示例，理解HDFS和MapReduce的工作原理。
摘要由CSDN通过智能技术生成

说明：eclipse4.5   hadoop2.6  ubuntu。  事先已经在eclipse中配置了hadoop的插件


我们可以用命令直接使用hadoop安装路径中的example下的woedconnt来统计单词的格式。但是我们为了了解hadoop统计单词的过程，就需要对它的源码进行分析。

hadoop的核心就是HDFS和MapReduce。下面让我们来看看hadoop单词统计的代码。

<span style="font-family:Microsoft YaHei;font-size:14px;">import java.io.IOException;  
import java.util.StringTokenizer;  
import org.apache.hadoop.conf.Configuration;  
import org.apache.hadoop.fs.Path;  
import org.apache.hadoop.io.IntWritable;  
import org.apache.hadoop.io.LongWritable;  
import org.apache.hadoop.io.Text;  
import org.apache.hadoop.mapreduce.Job;  
import org.apache.hadoop.mapreduce.Mapper;  
import org.apache.had
最低0.47元/天 解锁文章
行走江湖的文艺猿
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop实例-----统计单词个数
FutureFlyme的博客
09-30 4324
下面来讲一个hadoop的实例，统计文件words.txt中单词的个数。 一、环境需求： 1、虚拟机itcast01 2、在虚拟机itcast安装eclipse(注意是linux版本的，安装过程参考前面的博客) 二、过程 1、在itcast01虚拟机上创建文件words.txt文件，并写入一定数据，保存。 2、start-all.sh开启Hadoop服务，hadoop fs -put w
Hadoop大作业——单词个数统计
JXZKLJKA的博客
12-22 1140
目录 使用VirtualBox安装Ubuntu 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，将会带来全新的写作体验； 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示
Hadoop-MapReduce应用-统计单词个数
weixin_30621919的博客
07-29 304
先说一些代码中使用到的东西： StringTokenizer：字符串分隔解析类型*之前没有发现竟然有这么好用的工具类java.util.StringTokenizer StringTokenizer(String str) ：构造一个用来解析str的StringTokenizer对象。java默认的分隔符是“空格”、“制表符(‘\t’)”、“换行符(‘\n’)”、“回车符(‘\r’...
Hadoop——练习1(统计单词个数)
weixin_45890771的博客
09-29 1330
1、启动Hadoop cd /opt cd hadoop ./sbin/start-all.sh jps 2、创建一个txt,存入英文单词 vi blue i(输入)——>est键(退出)——wq(保存) 3、使用 put 操作将“blue”文件上传到 HDFS 的根目录 hadoop fs -put blue /blue 4、使用 jar 操作运行 Hadoop 中自带的 jar 进行单词计数 cd hadoop/share/hadoop/mapred...
hadoop word count 单词统计
07-25
hadoop 入门程序 word count 完整代码, 可以处理hdfs文件和windows本地文件. 下载之后, 导入到IDEA, 修改pom.xml文件的jar包版本和hadoop集群版本一致,core-site.xml 配置和集群 etc/hadoop/core-site.xml一致. windows 本地hadoop开发环境配置所需文件, 请下载另一个资源
Eclipse利用Hadoop平台实现统计单词个数
zem421的博客
12-20 1936
统计单词个数 要求 1.将待分析的文件（不少于10000英文单词）上传到HDFS 2.调用MapReduce对文件中各个单词出现的次数进行统计 3.将统计结果下载本地。 过程 1.首先启动hadoop,用jps判断是否启动成功，如果成功，则如下图所示 2.递归创建/user/hadoop/input目录，将不少于10000字单词的文件上传到/user/hadoop/input目录下 3.打开eclipse进行配置，填写工作空间 4.选择 Window 菜单下的 Preference 5.切换 Map/R
使用Eclipse开发工具运行MapReduce统计单词出现次数
weixin_43912540的博客
12-12 1261
使用Eclipse开发工具运行MapRuce统计单词出现次数生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 1.##我在这里将原先准备好的10000个单词的英语文章通过U盘移动到了Ubuntu系统中，也可以通过其它的方式，比如FTP传输或者将Ubuntu功能增强，直接拖拽进去也可。 2.##将刚才导入的英语文章文档上传到/h
eclipse操作hadoop-文件上传下载以及使用MapReduce完成对一个文本文件的单词计数
qq_39022311的博客
06-22 1178
1.查看hdfs上的文件 public static void main(String[] args) { try { // 创建要链接的资源地址 URI uri = new URI("hdfs://xxx.xxx.xxx.xxx:端口号"); //这个地址是hadoop目录下etc/hadoop/core-site.xml文件里的 fs.defaultFS 地址 Con...
hadoop简单单词统计
07-09
第一次实现hadoop上的程序，内含jar包和用例，算迈出大数据的第一步吧。。
Hadoop单词统计
weixin_33831196的博客
07-29 178
1. 本地创建文本文件 [root@s166 fantj]# mkdir input [root@s166 fantj]# cd input/ [root@s166 input]# echo "hello fantj" &gt; file1.txt [root@s166 input]# echo "hello hadoop" &gt; file2.txt [root@s166 input]# ec...
Hadoop之单词计数
sill
08-27 3070
Hadoop Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(h...
hadoop 文本统计一个字符的个数_hadoop统计单词个数 - 卡饭网
weixin_39534121的博客
12-20 461
hadoop入门之统计单词在文件中出现的个数示例hadoop入门之统计单词在文件中出现的个数示例 Linux环境：CentOs6.4 Hadoop版本：hadoop-0.20.2 内容：统计hadoop/bin下的所有文件中单词出现的个数。 所用到的命令有： 复制代码 代码如下: //创建input文件夹 ./hadoop fs -mkdir input //将所有的需要统计单词个数的文件放在in...
hadoop 单词个数及所处文件位置统计
vellerzheng的博客
05-22 1006
一、题目描述         输入若干个文件，得到所有文件中某单词的所在文件名，单词在文档中出现的次数和具体的位置信息 例如，输入文件如下： 1.txt: it iswhat it is what isit it is abanana 2.txt: i is whathe is haoop isit it he abanana 3.txt: hadoop iswhat he
Hadoop实现单词计数
qq_51644702的博客
09-29 3474
1.启动Hadoop 可以看博主之前写过的启动方式~链接已经发出来了。 Hadoop启动_资深咸鱼~的博客-CSDN博客 2.先创建一个新的文件来写下单词 vi [文件名] 我这里取得名字是hello1 这里进入文件后，按 i 进入输入模式，写下所需的单词，然后按esc然后输入：wq退出该文件 3.可以查看自己写进去的单词 cat [文件名] 这我随便打的文件名和拼音~ 4.使用 put 操作将“hello1”文件上传到 HDFS 的根目录 hadoop fs...
hadoop 文本统计一个字符的个数_使用hadoop统计多个文本中每个单词数目
weixin_39972019的博客
12-20 200
程序源码1 importjava.io.IOException;2 importjava.util.StringTokenizer;3 importorg.apache.hadoop.conf.Configuration;4 importorg.apache.hadoop.fs.Path;5 importorg.apache.hadoop.io.IntWritable;6 importorg.ap...
Ubuntu的安装至文件MapReduce处理
weixin_48078204的博客
12-17 1379
一、在Windows中使用VirtualBox安装Ubuntu 1.安装前的准备 （1）打开VirtualBox，点击“创建”按钮，创建一个虚拟机 给虚拟机命名，选择操作系统，版本 如果您选择的系统是32位Ubuntu,那么版本请选择“Ubuntu (32 bit)” 如果您选择的系统是64位Ubuntu,那么版本请选择“Ubuntu (64 bit)” 如果界面中有“文件夹”选项，则在“文件夹”后面可以设置为本地磁盘目录，比如“D:\”。 （2）选择内存大小
Hadoop入门(3)_统计单词在文件中出现的个数
weixin_33882452的博客
08-18 178
2019独角兽企业重金招聘Python工程师标准>>> ...
Hadoop实战：基于伪分布的大数据单词统计
1. **Hadoop单词统计**：这是项目的核心任务，它利用Hadoop的分布式计算能力来统计文本中的单词出现次数。这涉及到对文本数据的预处理，将文本拆分为单词，并对每个单词进行计数。 2. **Hadoop伪分布式架构**：在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值