hadoop作业引用第三方jar文件

最新推荐文章于 2021-12-16 22:12:36 发布
VIP文章 最新推荐文章于 2021-12-16 22:12:36 发布
阅读量1.1w 收藏 11
点赞数 3
分类专栏： Hadoop 文章标签： hadoop jar 作业 mapreduce path
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lazy0zz/article/details/7505712
版权

在eclipse中写mapreduce程序, 引用第三方jar文件, 可以利用eclipse hadoop插件直接run on hadoop提交, 很方便.  不过插件版本要和eclipse匹配, 不然总是local执行, 在50070是没有job产生的.

如果希望将程序发布成jar文件, 在namenode上通过命令行方式执行, 缺少了eclipse帮忙自动配置jar文件, 会遇到java.lang.ClassNotFoundException, 这个问题可分成两种情况讨论.

一. hadoop命令式如何执行的？

其实$HADOOP_HOME/bin/hadoop是一个脚本文件.  以下wordcount命令为例

bin/hadoop jar wordcount.jar myorg.WordCount /usr/wordcount/input /usr/wordcount/output

脚本文件解析参数, 配置类路径等, 最终执行的是如下命令:

exec java -classpath $CLASSPATH org.apache.hadoop.util.RunJar $@
最低0.47元/天 解锁文章
lifeising
关注
  • 3
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
hadoop源码的第三方jar包
01-16
这个是我在用eclipse引入hadoop2.2源代码后，所使用的第三方jar包
hadoop jar丢失查找
xugen12的专栏
03-21 2728
Hadoop、HBase包丢失查找
hadoop运行 jar包
npcomplet的博客
10-24 1460
问题描述：hadoop运行jar包时一直显示路径不存在，经调整路径后再次运行jar包，显示文件不存在。 原因：由于core-site.xml事先配置过路径的原因，会先读取hdfs文件系统上的文件，导致出现文件不存在的错误，删除core-site.xml中的有关配置得以解决 ...
Hadoop集群搭建
Flora
09-13 1525
hadoop 伪分布式（一台）集群搭建 1.安装jdk 1.7以上 –2.安装hadoop 2.8.5 –3.配置/etc/profile，添加 JAVA_HOME=/opt/module/jdk1.8.0_221 HADOOP_HOME=/opt/module/hadoop-2.8.5 PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOM...
HADOOP添加第三方jar依赖
没有格子衬衫的程序员
09-02 2656
每次运行hadoop jar命令时，会重新设置HADOOP_CLASS这个环境变量，并将这个变量的值赋给CLASSPATH，所以，只能通过设置HADOOP_CLASS这个环境变量来添加第三方的依赖，而设置CLASSPATH并不会生效。 在MR任务在提交阶段和task运行阶段，主要会遇见两类依赖问题：依赖找不到和依赖冲突。 提交阶段： 1. 依赖找不到 通常两种解决方案 将第三方j...
Hadoop应用引用第三方jar的几种方式（一）
weixin_33912445的博客
03-27 269
虽然我们可以在Eclipse下面开发Hadoop应用程序，但是当我们引用了第三方jar文件的时候，把我们编写的程序打成jar包之后，如何能够在Hadoop集群下面运行，是一个我们在程序开发的过程中必须要解决的一个问题，通过搜索资料，在这里把几种可行的解决方案在这里总结一下。本来打算也一篇的，可是写到后来，发现我太啰嗦了，写的有点太细了，决定分开来写，写...
flink安装所需要的第三方jar
03-03
flink安装所需要的第三方jar，即flink-shaded-hadoop-2-uber-2.7.5-10.0.jar
Hadoop+Spark大数据技术 第三次作业
最新发布
03-27
Hadoop+Spark大数据技术 第三次作业
hadoop权威指南第三版完整版
05-24
这是完整版
hadoop-2.10.0jar.zip
07-18
包含hadoop平台Java开发的所有所需jar包，例如activation-1.1.jar apacheds-i18n-2.0.0-M15.jar apacheds-kerberos-codec-2.0.0-M15.jar api-asn1-api-1.0.0-M20.jar api-util-1.0.0-M20.jar asm-3.2.jar avro-1.7.7...
flink-shaded-hadoop-uber-3.2.3.jar
05-29
flink 1.14.3集成hadoop 3.2.3的jar包，flink启动yarn session时需要将该jar放到flink的lib目录下
hadoop-aws-2.7.3.jar
10-13
hadoop-aws-2.7.3.jar，hadoop，spark查询oss对象存储包
hadoop-common-3.3.0.jar
02-04
hadoop-common-3.3.0.jar
hadoop 所用的jar包
09-21
该jar包是属于大数据hadoop使用的些jar包，可以在编写代码的时候导入工程中 该jar包是属于大数据hadoop使用的些jar包，可以在编写代码的时候导入工程中
hadoop-eclipse-plugin-2.6.0.jar程序文件
12-20
It takes me two days to find the root cause for the exceptions and finally generate this jar file for hadoop 2.6.0. 1.use hadoop 2.6.0. 2.change the hadoop_home and path to point to hadoop 2.6.0 3....
hadoop如何使用第三方jar包
zhangge360的专栏
11-22 1349
hadoop如何使用第三方jar包
Hadoop：Hadoop基本命令
皮皮blog
05-07 4364
常用命令http//常用命令//dest/123//dest/123。
Hadoop-Yarn的框架原理（二）
prefect_start的博客
12-16 719
1、Yarn生产环境核心参数 2、Yarn生产环境核心参数配置案例 需求：从1G数据中，统计每个单词出现次数。服务器3台，每台配置4G内存，4核CPU，4线程。 <!-- 选择调度器，默认容量 --> <property> <description>The class to use as the resource scheduler.</description> <name>yarn.resourcemanager.scheduler.cla
通过Hadoop命令执行jar包
qq_42833339的博客
12-21 9878
我们通常在本地运行的时候，可以把本地java文件打包成jar包，然后放在linux集群上。然后通过hadoop命令来运行该jar包。 具体命令如下所示： hadoop fs jar xxxx.jar(jar包存放的路径) xxx(类路径名) 需要注意的是，用此种方式运行jar包时，jar包不是放在hadoop集群的，而是在linux上，因此路径也是linux文件系统中的路径。而类路径，是指你要执行的包含main函数的主类，该类名一定要写全名，如org.example.BillComputing.Drive
hadoop 编写jar文件
06-10
6. 将生成的 Jar 文件上传到 Hadoop 集群中，可以使用以下命令提交作业： hadoop jar <jar-file> <main-class> <input-path> 其中，<jar-file> 是 Jar 文件的路径，<main-class> 是程序的主类，<input-path> 是...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值