linux运行hadoop实例wordcount详解

最新推荐文章于 2022-01-05 00:04:27 发布

红黑小七

最新推荐文章于 2022-01-05 00:04:27 发布

阅读量1.7k

点赞数

分类专栏： hadoop 文章标签： hadoop linux 实例 WordCount

本文链接：https://blog.csdn.net/DaiDaiHan1/article/details/19820803

版权

本文详细记录了在Linux服务器上配置Hadoop并运行WordCount实例的过程。从创建目录、编译Java源文件、解决找不到类文件的错误、打包jar文件，到最后解决ClassNotFoundException问题，成功执行WordCount程序。通过解决这些问题，对Hadoop的运行流程有了更深入的理解。

摘要由CSDN通过智能技术生成

在服务器上配置了hadoop准备自己从wordcount.java开始到跑起wordcount程序，但是就这简单的几步遇到了很多问题，现在总结一下我碰到的问题：

整个过程步骤是：

1.首先创建文件目录：

mkdir Test

2.编译wordcount.java文件生成.class文件，存放在第一步创建的文件夹Test中：

javac -classpath <hadoop_path>/hadoop*core*.jar -d Test

报错：

WordCount.java:53: 错误: 无法访问Options
String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
^
找不到org.apache.commons.cli.Options的类文件
1 个错误

错误原因：找不到commons.cli.Options这个类，需要讲这个jar导入

解决方法：在*core*.jar后添加冒号和该类的路径如下：

javac -classpath <hadoop_path>/hadoop*core*