查看Hadoop-1.2.1里面的例子jar并对WordCount进行修改

最新推荐文章于 2022-09-01 17:32:27 发布
最新推荐文章于 2022-09-01 17:32:27 发布
阅读量2.7k 收藏
点赞数
分类专栏： Hadoop 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Joyce0625/article/details/24910813
版权
本文介绍了如何查看Hadoop-1.2.1中的WordCount示例，执行WordCount.java代码，并对其进行修改以处理标点符号和大小写问题。通过修改StringTokenizer的分隔符和转换单词为小写，解决了原始程序的问题。最后展示了修改后程序的运行结果。
摘要由CSDN通过智能技术生成
1.查看Hadoop-1.2.1里面的例子jar
（1）进入hadoop-1. 2.1/bin目录下，直接用hadoop命令可以看到所有可以使用的命令


比如


（2）查看hadoop中的已经有的jar包


比如：


最低0.47元/天 解锁文章
Joyce0625
关注
专栏目录
hadoop之hadoop-mapreduce-examples-2.7.0.jar
yibei8811的专栏
07-06 1万+
前2篇blog中测试hadoop代码的时候都用到了这个jar，那么很有必要去分析一下源码。 分析源码之前很有必要先写一个wordcount，代码如下 package mytest; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration;
改写Hadoop的wordcount程序
csdidi的专栏
04-20 2666
实验内容与要求 1. 在Eclipse环境下编写WordCount程序，统计所有除Stop-Word（如a, an, of, in, on, the, this, that,…)外出现次数k次以上的单词计数，最后的结果按照词频从高到低排序输出；2. 在集群上运行程序，对莎士比亚文集文档数据进行处理；3. 可自行建立一个Stop-Word列表文件，其中包含部分停词即可，不需要列出全部停词；参数k作为输入参数动态指定（如k=10）代码：            import java.io.*; import
Hadoop示例程序WordCount编译运行
weixin_30425949的博客
03-26 2123
首先确保Hadoop已正确安装及运行。 将WordCount.java拷贝出来 $ cp ./src/examples/org/apache/hadoop/examples/WordCount.java /home/hadoop/ 在当前目录下创建一个存放WordCount.class的文件夹 $ mkdir class 编译WordCount.java $...
Hadoop下WordCount程序
qq_38983002的博客
03-19 327
一、前言 在之前我们已经在 CenOS6.5 下搭建好了 Hadoop2.x 的开发环境。既然环境已经搭建好了，那么现在我们就应该来干点正事嘛！比如来一个Hadoop世界的HelloWorld，也就是WordCount程序(一个简单的单词计数程序). 二、WordCount 官方案例的运行 2.1 程序简介 WordCount程序是hadoop自带的案例，我们可以在...
编译WordCount实例
Frank's CSDN Blog
08-29 2243
预节知识在Hadoop集群环境中，其有两个重要和关键的系统，分别是HDFS和MapReduce。 其中HDFS是Hadoop的分布式存储的策略和核心，它实现了将数据分块，并且存储到多个DataNode上。 mapreduce的简单的可主要分为以下几个阶段： * FileInputFormat中的input路径，读取进入输入文件，该输入文件会经过默认的算法和策略进行split形成分片，形成分片后
hadoop -1.2.1-jar(全)
11-19
4. **hadoop-examples-1.2.1.jar**：此JAR包提供了几个示例程序，演示了如何使用Hadoop MapReduce进行简单的数据处理任务，如WordCount、PiEstimator等，这些示例对于初学者理解Hadoop的工作原理非常有帮助。...
hadoop-1.2.1运行WordCount
08-27
- 需要在Hadoop-1.2.1源码包中的`src/examples/org/apache/hadoop/examples/WordCount.java`进行必要的修改。 - 编译Java文件，这一步可能会比较耗时。 2. **替换编译后的类文件**： - 将编译好的`WordCount*....
hadoop-core-1.2.0.jar
01-12
这是在window下编写wordcount.jar需要导入的包，避免程序出错，如果你配了插件，可不用下载，谢谢
史上最强Hadoop-1.2.1安装文档
08-27
- 将`hadoop-eclipse-plugin-1.2.1.jar`拷贝到Eclipse安装目录下的`/plugins/`文件夹。 - **配置Eclipse**: - 打开Eclipse。 - 通过`Window -> Preferences -> Hadoop Map/Reduce`配置Hadoop路径。 - 选择`...
Hadoop编译需要的jar包
05-20
apache-ant-1.9.4-bin.tar，apache-maven-3.0.5-bin.tar，findbugs-3.0.0.tar，protobuf-2.5.0.tar
hadoop1.2.1修改WordCount并编译
08-28
hadoop1.2.1修改WordCount并编译 在其中加入控制台输出
hadoop-examples-1.2.1.jar
10-14
hadoop-examples-1.2.1.jar
单独编译运行hadoop自带wordcount例子
wujay
04-09 206
1、首先要找到wordcount的源代码，在http://svn.apache.org/repos/asf/hadoop/中，用svn客户端check out下来，找到svn.apache.org_repos_asf\hadoop\hadoop-mapreduce-project\hadoop-mapreduce-examples\src\main\java\org\apache\hadoop\e...
hadoop编译WORDCOUNT
stephen
07-31 1044
1，首先先配置好JDK 2，并配置SSH免密码登陆 3，安装HADOOP，这里用的是版本hadoop-1.0.1.tar.gz，可上CSDN下载那里找到这个版本。 4，安装伪分布式。 可以把伪分布式的hadoop看做只有一个节点的集群，在这个集群中，这个节点即是master，也是slave；既是NameNode，也是DATANODE；既是jobtracker，也是tasktracker。
11、Hadoop框架MapReduce的WordCount编写
hujieliang123的博客
02-14 782
MapReduceJavaAPI
Hadoop完全分布式实现WordCount
银晗的学习博客
09-01 2011
随便写一点用来统计的文本，英文文本 ， 随便你写我的文件如下：我在code文件夹里写的，你直接在wordcount文件夹下执行上述命令就行echo 是shell的变量定义,后面跟的是一个字符串，把这个字符串放入input文件下file0文件当然你也可以随意的写内容。...
第四章：hadoop 启动wordcount实例，包括hadoop自带jar包和eclipsejar包。hdfs常用命令
小爷欣欣
03-07 4873
1，首先介绍启动hadoop自带的wordcount的jar包实例1.1启动hadoophadoop安装目录下：./sbin/start-all.sh查看进程：jps1.2 ，进入到home目录下，创建一个文本，随便写点东西1.3 进入到hadoop安装目录下，模糊查找hadoop 案例jar包我们用hadoop-mapreduce-examples-3.0.0.jar1.4 ./bin/hado...
【Hadoop入门二】编写并运行WordCount
05-14 1273
本文基于IDEA编写WordCount示例，并在Hadoop上运行。 一、前提 安装并配置好Java、Maven和Hadoop。 二、创建Maven项目 1. 创建项目 File -> New -> Project -> Maven，不用勾选archetype，点击next，填写项目名称，点击Finish。 2. 修改pom.xml 1）引入Hadoop依赖包 主要包括hadoop-common、hadoop-hdfs、hadoop-mapreduce-client-c
vmware9中搭建三台debian7虚拟机hadoop-1.2.1集群环境指南
"该资源是一份关于如何在vmware9上使用Debian7操作系统搭建Hadoop 1.2.1环境的指南。内容包括安装操作系统、配置SSH、安装与配置JDK、设置环境变量以及搭建多节点集群的初步步骤。" 在搭建Hadoop 1.2.1环境的过程中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值