hadoop jar **.jar 与java -classpath **.jar运行mapreduce

运行mapreduce的jar包的命令是hadoop jar **.jar

运行普通main函数打的jar包的命令是java -classpath **.jar

由于一直不知道这两个命令的区别,所以我就固执的使用java -classpath **.jar来启动mapreduce。直到今天出现错误。

java -classpath **.jar是使jar包在本地运行,那么mapreduce就只在这一个节点上运行。所以特别慢。

当时为了检测为什么这么慢,开始以为是Mapper的数量太多了,就在代码里面设置了很多LOG信息,然后再java -classpath **.jar启动mapreduce后去观察log日志。

但是后来改正后使用hadoop jar **.jar来启动mapreduce后,才发现原来当初设置的log日志不会马上生成,因为Mapper被发送到了很多台机器上运行,所以不能马上得到返回结果。

之前由于是本地启动的mapreduce,所以中间文件全部生成在该节点上(这个节点只有50G的空间),后来被运维人员检测到,才把中间文件删除掉。

在打jar包时需要注意一个问题,就是用maven runas时,生成的jar包全部在lib下,在当前程序的jar包中只有自己的内容。所以需要用压缩程序将该jar包打开,在里面新建lib目录,然后把需要的jar包放进去(hadoop的jar包不用放),这样就可以只把这个jar包放到服务器上然后启动。

由于java -classpath **.jar是本地运行,那么只需要把工程所需的jar包放到同一个目录即可,

但是hadoop jar **.jar是在集群上运行,则需要将该工程所需要的jar包放到该工程jar包的内部。

将依赖jar包打到该工程jar包内形成一个总的jar包,可以在maven的pom.xml文件中使用如下配置:

	<build>
		<sourceDirectory>src</sourceDirectory>
	    <resources>
	      <resource>
	        <directory>conf</directory>
	        <excludes>
	          <exclude>**/*.java</exclude>
	        </excludes>
	      </resource>
	    </resources>

		<pluginManagement>
			<plugins>
				<!-- Ignore/Execute plugin execution -->
				<plugin>
					<groupId>org.eclipse.m2e</groupId>
					<artifactId>lifecycle-mapping</artifactId>
					<version>1.0.0</version>
					<configuration>
						<lifecycleMappingMetadata>
							<pluginExecutions>
								<!-- copy-dependency plugin -->
								<pluginExecution>
									<pluginExecutionFilter>
										<groupId>org.apache.maven.plugins</groupId>
										<artifactId>maven-dependency-plugin</artifactId>
										<versionRange>[1.0.0,)</versionRange>
										<goals>
											<goal>copy-dependencies</goal>
										</goals>
									</pluginExecutionFilter>
									<action>
										<ignore />
									</action>
								</pluginExecution>
							</pluginExecutions>
						</lifecycleMappingMetadata>
					</configuration>
				</plugin>
			</plugins>
		</pluginManagement>

		<plugins>
			<plugin>
				<groupId>org.apache.maven.plugins</groupId>
				<artifactId>maven-dependency-plugin</artifactId>
				<executions>
					<execution>
						<id>copy-dependencies</id>
						<phase>test</phase>
						<goals>
							<goal>copy-dependencies</goal>
						</goals>
						<configuration>
							<excludeArtifactIds>hadoop-core</excludeArtifactIds>
							<excludeGroupIds>org.slf4j</excludeGroupIds>
							<outputDirectory>    //这里是关键
								<span style="color:#FF0000;">target/classes/lib</span>
							</outputDirectory>
						</configuration>
					</execution>
				</executions>
			</plugin>
			<plugin>
				<artifactId>maven-compiler-plugin</artifactId>
				<version>2.3.2</version>
				<configuration>
					<source>1.6</source>
					<target>1.6</target>
					<encoding>UTF-8</encoding>
				</configuration>
			</plugin>
		</plugins>
	</build>
但是需要runas两次才行,不知道为什么。

如果只是单纯的跑mapreduce,而没有用到其他jar包,则不需要将其他jar包打到该工程内,也就是说该工程的jar的lib目录下不能有hadoop的jar包,因为在运行时环境里面有,在这里只需要其他的一些比如自己编写的jar包等

### 回答1: 这个错误消息表明程序在运行时找不到类 org.apache.hadoop.mapreduce.v2.app.mrappmaster。这可能是因为缺少必要的Hadoop库或配置问题导致的。建议检查程序的classpath是否包含所有必需的Hadoop库,并确保Hadoop配置正确。 ### 回答2: 错误原因是无法找到或加载主类org.apache.hadoop.mapreduce.v2.app.mrappmaster。这个错误通常是因为Hadoop MapReduce框架的应用程序主类未被正确设置或无法找到。 解决这个问题的方法如下: 1. 确认Hadoop的安装和配置是否正确。检查Hadoop的环境变量是否正确设置,并且Hadoop的相关配置文件是否正确。 2. 确认代码是否被正确编译并打包为JAR文件。确保应用程序主类org.apache.hadoop.mapreduce.v2.app.mrappmaster是否正确编译,并且在运行时能够被正确加载。 3. 检查应用程序的启动命令是否正确。确保在运行应用程序时,命令行参数正确设置,并且指定了正确的主类。 4. 检查应用程序的依赖是否正确。如果应用程序依赖其他的外部库,确保这些库已正确添加到应用程序的类路径中。 5. 检查Hadoop集群的运行状态。如果Hadoop集群没有正确运行或配置问题,可能会导致无法加载主类的错误。 综上所述,错误"找不到或无法加载主类org.apache.hadoop.mapreduce.v2.app.mrappmaster"的解决方法包括检查Hadoop的安装和配置、代码的编译和打包、应用程序的启动命令、依赖和集群的运行状态等方面。通过仔细检查这些方面,可以解决这个错误并正常运行MapReduce应用程序。 ### 回答3: 错误信息显示找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.mrappmaster。 这通常是由于缺少相应的依赖库或配置问题导致的。请按照以下步骤检查和解决该问题: 1. 检查Hadoop的版本和安装:首先确保已正确安装并配置了适当的Hadoop版本。请检查Hadoop的安装文件夹和环境变量设置是否正确。 2. 检查依赖库:确保您的应用程序或脚本中包含了正确的Hadoop依赖库。请检查您的项目配置文件(如pom.xml或build.gradle)以确保已正确包含了mapreduce相关的依赖库。 3. 检查类路径:确认您的类路径(classpath)中包含了Hadoop相关的jar文件。可以通过在命令行中显示类路径来验证类路径是否正确设置。 4. 检查配置文件:查看您的Hadoop配置文件(如core-site.xml、mapred-site.xml和yarn-site.xml)是否正确配置了必要的参数。特别是,确保mapreduce.framework.name属性正确设置为yarn。 5. 检查日志文件:查看Hadoop的日志文件(如hadoop-mapreduce-historyserver.log)以获取更多关于错误的详细信息。在日志中搜索“Error”或“Exception”等关键词,以找到可能导致问题的具体原因。 如果您尝试了以上步骤但问题依然存在,可以尝试重新安装Hadoop或联系Hadoop的支持团队获取更专业的帮助。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值