java -cp和java -jar的区别 &【MR提交到yarn的api】

最新推荐文章于 2023-03-02 14:00:14 发布

攻城狮Kevin

最新推荐文章于 2023-03-02 14:00:14 发布

阅读量685

点赞数

分类专栏： Hadoop Java 文章标签： java hadoop

本文链接：https://blog.csdn.net/wx1528159409/article/details/92832179

版权

Java 同时被 2 个专栏收录

27 篇文章 1 订阅

订阅专栏

Hadoop

18 篇文章 3 订阅

订阅专栏

java -cp和java -jar都是运行jar包，区别在于前者需要自行指定主类，后者必须jar包中指定了主类

用maven导出的包中，如果没有在pom文件中将依赖包打进去，是没有依赖包。

1.打包时指定了主类，可以直接用java -jar xxx.jar。

2.打包时没有指定主类，可以用java -cp xxx.jar 主类名称（绝对路径）。

至于MR提交到yarn上，代码块如下

${_HADOOP_BIN} jar \
jar包名 \
主类名 \
-Dmapreduce.reduce.java.opts="-Xmx3192m" \
-Dmapreduce.output.fileoutputformat.compress.codec="com.hadoop.compression.lzo.LzoCodec" \
-Dmapreduce.map.output.compress.codec="com.hadoop.compression.lzo.LzoCodec" \
-Dmapreduce.job.queuename=${_HDP_QUEUE_OFFLINE} \
运行参数（输入路径、输出路径、其他参数） > $XXX.log 2>&1