关于java实现的mapreduce程序打包后通过脚本运行出现classnotfound异常

最新推荐文章于 2023-03-28 17:48:19 发布
最新推荐文章于 2023-03-28 17:48:19 发布
阅读量3.4k 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cs_jiang/article/details/54409669
版权

     eclipse内运行正常  打包通过脚本启动后hadoop报classnotfound等莫名其妙的错误

    解决办法:

      将所有依赖jar都打入到一个jar中即可

     

如图打包时选择第一项即可

duoduo_die
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
java 矩阵乘法的mapreduce程序实现
08-30
主要介绍了java 矩阵乘法的mapreduce程序实现的相关资料,需要的朋友可以参考下
MapReduce程序打成jar包运行报错ClassNotFoundException
wufabao的博客
10-15 958
原因：没有把驱动类的路径写上去
MapReduce 运行时报ClassNotFound 时的解决方法
weixin_34174422的博客
12-08 1204
直接进入正题了 MapReduce程序报ClassNotFound的错误如何解决。如果你也遇到了这个问题可以按照下面方法解决 1、运行程序就报ClassNotFound ，日志里面没有MapReduce程序运行的任何信息 这就是job时的异常。 解决：首先本地的Classpath中要存在对应的Jar包 也就是必须要能够运行Job 提交任务 当...
hadoop中mapreduce提交作业到集群运行报错ClassNotFoundException
我知道你是高手的博客
02-25 1668
错误信息： 解决方法： 在代码中添加： job.setJarByClass(MyWordCount.class); 如果未指定，打印信息中会提示：  No job jar file set.  User classes may not be found. See Job or Job#setJar(String). 这里贴上官方demo中WordCount类的反编译代码： p...
MapReduce 程序运行报错 java.lang.ClassNotFoundException解决方法
weixin_30920513的博客
11-05 646
在创建自定义的Mapper时候，编译正确，但上传到集群执行时出现错误： 11/16/05 22:53:16 INFO mapred.JobClient: Task Id : attempt_201111301626_0015_m_000000_0, Status : FAILED java.lang.RuntimeException: java.lang.ClassNotFoundExce...
【HADOOP】MapReduce :java.lang.ClassNotFoundException: WordCount
Zsigner的博客
01-19 407
正确命令应该为： hadoop jar /hadoop-2.7.7/share/hadoop/mapreduce/sources hadoop-mapreduce-examples-2.7.7-sources.jar org.apache.hadoop.examples.WordCount /input/words.txt /output 注意：报错原因是因为忽略了前面的包路径，直接hado...
基于Java和mapreduce实现的贝叶斯文本分类器设计.zip
07-06
测试过程可基于单机Java程序，也可以是MapReduce程序。输出每个测试文档的分类结果； 3：利用测试文档的真实类别，计算分类模型的Precision，Recall和F1值。 详细介绍参考：...
Java编写Mapreduce程序过程浅析
07-10
Java编写Mapreduce程序过程浅析
深入探究如何使用Java编写MapReduce程序.rar
最新发布
07-10
深入探究如何使用Java编写MapReduce程序.rar
使用命令行编译打包运行自己的MapReduce程序 Hadoop2.6.0
02-04
使用命令行编译打包运行自己的MapReduce程序 Hadoop2.6.0
hadoop下跑mapreduce程序报错
weixin_30911451的博客
02-11 141
mapreduce真的是门学问，遇到的问题逼着我把它从MRv1摸索到MRv2，从年前就牵挂在心里，连过年回家的旅途上都是心情凝重，今天终于在eclipse控制台看到了job completed successfully，当时的兴奋难以形容，都有些不敢相信自己的眼睛，压抑住激动的心情再试了一遍，特么真的跑通了，喜极而泣。 总结起来就是两处 1.报错Class not found 或者 No ...
java.lang.ClassNotFoundException: Class org.apache.hadoop.io.compress.BZip2Codec not found
weixin_38946524的博客
11-03 1185
这里写自java.lang.ClassNotFoundException: Class org.apache.hadoop.io.compress.BZip2Codec not found欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPant...
IDE远程提交mapreduce任务至linux，遇到ClassNotFoundException: Mapper
Lance的专栏
02-23 6465
情况 VMware上安装了Linux系统，部署伪分布式hadoop2。我在Windows宿主机用IDEA或Eclipse编写MapReduce程序，提交任务之后，运行时报错： Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class com.lance.common.entity.LineSplitMa
MapReduce运行时出现java.lang.NoClassDefFoundError
weixin_34235457的博客
03-13 384
最近在编写MapReduce程序时遇到了一个错误，错误提示信息为： Error: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.HBaseConfiguration 断断续续解决了好几天都没有解决，最终发现是由于我的Mapper中的setup()方法引用了HBase库的缘故，也即引用了第三方Jar包。于是上网搜索“MapRe...
MaxCompute（原ODPS） MapReduce常见问题解答
weixin_34321753的博客
12-30 512
本文用到的 阿里云数加－大数据计算服务MaxCompute产品地址：https://www.aliyun.com/product/odps 1. 作业出现ClassNotFoundException和NoClassDefFoundError异常失败？ A: 对于ClassNotFoundException异常，一般是依赖的class不在你的jar包中，...
[exceptions]运行mapreduce 报mapper类(内部静态类) java.lang.ClassNotFoundException
software_kid的专栏
03-28 518
运行mapreduce 报mapper类(内部静态类) java.lang.ClassNotFoundException代码中用来设置主类的,没设置引用其他jar包。
bug记录: 本地idea运行没有问题，打包后出现ClassNotFoundException: org.apache.flink.util.OptionalFailure。
qq_27631217的博客
03-12 3459
本地idea运行没有问题，打包后出现ClassNotFoundException:org.apache.flink.util.OptionalFailure
java -jar 报错，classnotfound
BrotherDong90的专栏
06-15 2429
打包可执行jar包时，MANIFEST.MF总是个让人头疼的东西，经常出现这种那种问题。  一个例子：  ================================================================================  Manifest-Version: 1.0  Main-Class: test.Main  Class-Path: ./
运行mapreduce程序时出现异常java.lang.RuntimeException: java.lang.ClassNotFoundException的原因
热门推荐
风声
08-16 3万+
运行mapreduce程序时出现异常java.lang.RuntimeException: java.lang.ClassNotFoundException的原因    hadoop分布式配置完毕后，我将主节点的下的hadoop-0.20.1直接导入eclipse，想直接在eclipse中书写程序并直接编译运行于hadoop集群上。今天才发现，这是不可能成功的。因为我忽略了mapreduce程序在hadoop中的运行机理:mapreduce框架在运行Job时，为了使得各个从节点上能执行task任务(即map
通过MapReduce框架编写程序统计出每个学生的考试总成绩 用java实现
05-29
好的，我可以帮你解答这个问题。 首先，需要明确一下MapReduce框架的基本原理：将大规模的数据集分成许多小块，分发到多台计算机上进行并行处理，最后将结果汇总起来。 那么，针对你的问题，我们可以采用以下步骤来实现： 1. Map阶段：将每个学生的成绩数据进行处理，将学生姓名作为key，成绩作为value，输出为(key, value)键值对。 2. Reduce阶段：将相同学生的成绩累加起来，得到每个学生的总成绩，最后输出为(key, value)键值对，其中key为学生姓名，value为总成绩。 下面是Java实现代码： ``` public class ScoreMapper extends Mapper<LongWritable, Text, Text, IntWritable> { @Override protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String line = value.toString(); String[] fields = line.split(","); String name = fields[0]; int score = Integer.parseInt(fields[1]); context.write(new Text(name), new IntWritable(score)); } } public class ScoreReducer extends Reducer<Text, IntWritable, Text, IntWritable> { @Override protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable value : values) { sum += value.get(); } context.write(key, new IntWritable(sum)); } } public class ScoreJob { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "score count"); job.setJarByClass(ScoreJob.class); job.setMapperClass(ScoreMapper.class); job.setReducerClass(ScoreReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } } ``` 代码中，ScoreMapper类继承自Mapper类，实现了map方法，将每个学生的成绩数据转化为(key, value)键值对。ScoreReducer类继承自Reducer类，实现了reduce方法，将相同学生的成绩累加起来，得到每个学生的总成绩。ScoreJob类是MapReduce作业的入口，设置了输入输出路径、Mapper和Reducer类等信息。 你可以将以上代码保存为ScoreMapper.java、ScoreReducer.java和ScoreJob.java三个文件，然后使用hadoop jar命令来执行MapReduce作业，具体命令如下： ``` hadoop jar ScoreJob.jar ScoreJob input output ``` 其中，ScoreJob.jar是打包好的Java程序文件，input是输入数据路径，output是输出结果路径。 希望这个回答能够帮助到你！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值