【MapReduce】命令行编译打包MapReduce程序详细过程及错误解决

最新推荐文章于 2021-09-02 14:33:54 发布
最新推荐文章于 2021-09-02 14:33:54 发布
阅读量1.1k 收藏 6
点赞数 2
分类专栏： Hadoop生态 文章标签： hadoop mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/strawcherry_wj/article/details/119083564
版权

1.在eclipse中将Java程序打包成jar包

在这里插入图片描述
在这里插入图片描述
出现错误，是因为hadoop文件夹没有写入权限，可以修改jar file的保存路径，先保存在另一个地方，然后移动到hadoop文件夹中（其实是否放在hadoop文件夹中好像没啥影响）。

2. 在命令行运行jar包

报错1：执行Wordcount.jar时出现找不到主类
在这里插入图片描述
是因为WordCount类的地址不精确，前面要加包名

hadoop jar /usr/hadoop/hadoop-2.7.3
最低0.47元/天 解锁文章
strawcherry_wj
关注
  • 2
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用命令行编译打包运行自己的MapReduce程序
小柒sy的程序员成长道路
07-09 957
使用命令行运行mapreduce程序 在~/.bashrc 中增加如下几行中添加： export HADOOP_HOME=/usr/local/hadoop export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH 执行source ~/.bashrc 通过hadoop classpath可以得到Hadoop所需要的全部...
将idea上MapReduce程序打包——任务提交到yarn进行相关计算
2301_78409414的博客
06-05 781
将idea上MapReduce程序打包——任务提交到yarn进行相关计算
使用命令行编译打包运行MapReduce程序
weixin_30815469的博客
05-15 216
本文地址：http://www.cnblogs.com/myresearch/p/mapreduce-compile-jar-run.html，转载请注明源地址。 对于如何编译WordCount.java，对于0.20 等旧版本版本的做法很常见，具体如下： javac -classpath /usr/local/hadoop/hadoop-1.0.1/hadoop-core-1.0.1....
使用命令行编译打包运行自己的MapReduce程序 Hadoop2.6.0
weixin_30633507的博客
02-25 241
使用命令行编译打包运行自己的MapReduce程序 Hadoop2.6.0 网上的 MapReduce WordCount 教程对于如何编译 WordCount.java 几乎是一笔带过… 而有写到的，大多又是 0.20 等旧版本版本的做法，即javac -classpath /usr/local/hadoop/hadoop-1.0.1/hadoop-core-1.0.1.jar WordCo...
使用命令行编译打包运行MapReduce程序 Hadoop2.7.3
smallcrabonsandbeach的博客
08-03 1501
网上的MapReduce WordCount教程对于如何编译WordCount.Java几乎是一笔带过… 而有写到的，大多又是 0.20 等旧版本版本的做法，即 javac -classpath /usr/local/Hadoop/hadoop-1.0.1/hadoop-core-1.0.1.jar WordCount.java，但较新的 2.X 版本中，已经没有 hadoop-core*
大数据平台（二）——命令行编译打包自己的MapReduce程序
white先生的博客
04-19 643
写在前面 博主的运行环境为Hadoop-2.7.3，集群模式（因硬件简陋，只开了两台虚拟机）在此之前Java运行环境，Hadoop环境已搭好。本文通过WordCount实例向大家分享，将自己编写的mapreduce程序通过编辑在命令行模式下在Hadoop集群下运行。 编译环境配置 因为mapreduce程序的运行需要依赖Hadoop自带的一些jar包， 例如：import org.apac...
使用命令行编译打包运行自己的MapReduce程序 Hadoop2.4.1
xyjikl
05-10 625
网上的MapReduce WordCount教程对于如何编译WordCount.java几乎是一笔带过… 而有写到的，大多又是 0.20 等旧版本版本的做法，即 javac -classpath /usr/local/hadoop/hadoop-1.0.1/hadoop-core-1.0.1.jar WordCount.java，但较新的 2.X 版本中，已经没有 hadoop-core*.j
在Hadoop2.6.0下使用命令行编译打包运行自己的MapReduce程序
weixin_30402085的博客
06-13 316
　　思路是：编写mapreduce源程序-----启动完全分布式hadoop集群----编译Java源程序----打包编译后的程序----在集群中运行编译后的程序。 　　遇到的问题如下：　　　 　　（1）：如何将Java源程序打包成jar文件？ 　　（2）：jar文件如何在hadoop集群中运行？ 　　（3）：如何找到hadoop提供给Java源程序用来编译的Jar包？ 　　 　　具体...
Linux下MapReduce编程WordCount练习——使用命令行编译打包运行MapReduce程序（里面有对应安装包下载）
mango
04-28 4478
MapReduce编程目录一、WordCount练习二、编译、打包 Hadoop MapReduce 程序遇见的问题 一、WordCount练习 1、查看 HDFS 中的文件列表 2、在 Eclipse 中创建 MapReduce 项目WordCount 3、新建类 Class，在 Package 处填写 org.apache.hadoop.examples；在 Name 处填写 WordCo...
hadoop运行java程序命令_使用命令行编译打包运行自己的MapReduce程序 Hadoop2.6.0
weixin_35971708的博客
02-25 1320
网上的 MapReduce WordCount 教程对于如何编译 WordCount.java 几乎是一笔带过… 而有写到的，大多又是 0.20 等旧版本版本的做法，即javac -classpath /usr/local/hadoop/hadoop-1.0.1/hadoop-core-1.0.1.jar WordCount.java，但较新的 2.X 版本中，已经没有 hadoop-core*...
一个简单的 Hadoop MapReduce 程序示例.rar
最新发布
07-01
要运行这个程序，你需要将上述代码保存为 .java 文件，然后编译并打包成一个 JAR 文件。之后，你可以使用 Hadoop 的命令行工具来启动这个作业： hadoop jar your-wordcount.jar WordCount input.txt output 这里的 ...
hadoop学习本地win测试mapreduce程序，所要用到的环境软件.rar
06-27
完成后，使用Hadoop的命令行工具（如`hadoop jar`）来编译、打包和执行你的程序。确保程序能够在Hadoop集群上正确运行并返回预期结果。 6. 资料：压缩包中的"资料"可能包含了安装指南、配置示例、MapReduce编程教程...
mapreduce的wordCount案例
11-15
在这个案例中，我们将深入理解MapReduce的工作原理，并通过WordCount的例子来解析其实现过程。 首先，MapReduce由两个主要阶段组成：Map阶段和Reduce阶段。Map阶段负责将输入数据分割成独立的键值对（key-value ...
hadoop eclipse mapreduce下开发所有需要用到的JAR包
09-11
当你的MapReduce程序完成开发并经过本地测试后，你可以使用Hadoop的命令行工具将其打包成JAR文件，然后提交到集群上执行。 总结来说，"hadoop eclipse mapreduce下开发所有需要用到的JAR包"涉及到的是Hadoop ...
【Hadoop】解决Hadoop Unable to load native-hadoop library问题
strawcherry_wj的博客
09-02 9203
1、启动Hadoop提示WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable 在/etc/profile中添加 export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=/hadoop/hadoop-2.9.2/lib/native/" 参考链接 https:
【Hadoop】hadoop-eclipse-plugins插件安装和配置
strawcherry_wj的博客
07-26 5479
1.安装eclipse 2.hadoop-eclipse-plugins插件安装 下载插件 百度云：链接: https://pan.baidu.com/s/1bhdNgOOlsixT9OchEhijnw 密码: vvr7 将插件移动到eclipse安装目录的dropins文件夹下 打开eclipse（eclipse文件夹下命令行输入 ./eclipse；若配置了快捷方式直接打开即可） Windows→show view→other→MapReduce 配置location create project
【Hadoop】Centos7中完全分布式hadoop-2.7.3集群的安装与配置
strawcherry_wj的博客
07-24 1012
一、安装操作系统并配置IP 在VMware虚拟机中安装三台Centos，分别作为Master，Slave1，Slave2，并配置root用户。 配置三台机器的静态IP地址，本次示例IP分别为： Master: 192.168.157.128 Slave1: 192.168.157.129 Slave2: 192.168.157.130 （关于设置静态ip连不上网的问题，https://blog.csdn.net/tearofthemyth/article/details/112800999 Mac VMw
java程序提交mapreduce
03-27
2. 在命令行中使用以下命令进行编译： ``` javac -classpath `yarn classpath` WordCount.java ``` 3. 打包： ``` jar -cvf WordCount.jar *.class ``` 4. 提交MapReduce作业： ``` yarn jar WordCount...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值