hadoop jar **.jar 与java -classpath **.jar运行mapreduce

运行mapreduce的jar包的命令是hadoop jar **.jar

运行普通main函数打的jar包的命令是java -classpath **.jar

由于一直不知道这两个命令的区别，所以我就固执的使用java -classpath **.jar来启动mapreduce。直到今天出现错误。

java -classpath **.jar是使jar包在本地运行，那么mapreduce就只在这一个节点上运行。所以特别慢。

当时为了检测为什么这么慢，开始以为是Mapper的数量太多了，就在代码里面设置了很多LOG信息，然后再java -classpath **.jar启动mapreduce后去观察log日志。

但是后来改正后使用hadoop jar **.jar来启动mapreduce后，才发现原来当初设置的log日志不会马上生成，因为Mapper被发送到了很多台机器上运行，所以不能马上得到返回结果。

之前由于是本地启动的mapreduce，所以中间文件全部生成在该节点上（这个节点只有50G的空间），后来被运维人员检测到，才把中间文件删除掉。

在打jar包时需要注意一个问题，就是用maven runas时，生成的jar包全部在lib下，在当前程序的jar包中只有自己的内容。所以需要用压缩程序将该jar包打开，在里面新建lib目录，然后把需要的jar包放进去（hadoop的jar包不用放），这样就可以只把这个jar包放到服务器上然后启动。

由于java -classpath **.jar是本地运行，那么只需要把工程所需的jar包放到同一个目录即可，

但是hadoop jar **.jar是在集群上运行，则需要将该工程所需要的jar包放到该工程jar包的内部。

将依赖jar包打到该工程jar包内形成一个总的jar包，可以在maven的pom.xml文件中使用如下配置：

	<build>
		<sourceDirectory>src</sourceDirectory>
	    <resources>
	      <resource>
	        <directory>conf</directory>
	        <excludes>
	          <exclude>**/*.java</exclude>
	        </excludes>
	      </resource>
	    </resources>

		<pluginManagement>
			<plugins>
				<!-- Ignore/Execute plugin execution -->
				<plugin>
					<groupId>org.eclipse.m2e</groupId>
					<artifactId>lifecycle-mapping</artifactId>
					<version>1.0.0</version>
					<configuration>
						<lifecycleMappingMetadata>
							<pluginExecutions>
								<!-- copy-dependency plugin -->
								<pluginExecution>
									<pluginExecutionFilter>
										<groupId>org.apache.maven.plugins</groupId>
										<artifactId>maven-dependency-plugin</artifactId>
										<versionRange>[1.0.0,)</versionRange>
										<goals>
											<goal>copy-dependencies</goal>
										</goals>
									</pluginExecutionFilter>
									<action>
										<ignore />
									</action>
								</pluginExecution>
							</pluginExecutions>
						</lifecycleMappingMetadata>
					</configuration>
				</plugin>
			</plugins>
		</pluginManagement>

		<plugins>
			<plugin>
				<groupId>org.apache.maven.plugins</groupId>
				<artifactId>maven-dependency-plugin</artifactId>
				<executions>
					<execution>
						<id>copy-dependencies</id>
						<phase>test</phase>
						<goals>
							<goal>copy-dependencies</goal>
						</goals>
						<configuration>
							<excludeArtifactIds>hadoop-core</excludeArtifactIds>
							<excludeGroupIds>org.slf4j</excludeGroupIds>
							<outputDirectory>    //这里是关键
								<span style="color:#FF0000;">target/classes/lib</span>
							</outputDirectory>
						</configuration>
					</execution>
				</executions>
			</plugin>
			<plugin>
				<artifactId>maven-compiler-plugin</artifactId>
				<version>2.3.2</version>
				<configuration>
					<source>1.6</source>
					<target>1.6</target>
					<encoding>UTF-8</encoding>
				</configuration>
			</plugin>
		</plugins>
	</build>

但是需要runas两次才行，不知道为什么。

如果只是单纯的跑mapreduce，而没有用到其他jar包，则不需要将其他jar包打到该工程内，也就是说该工程的jar的lib目录下不能有hadoop的jar包，因为在运行时环境里面有，在这里只需要其他的一些比如自己编写的jar包等