maven打包hadoop项目（含第三方jar）

 maven打包hadoop项目（含第三方jar）

 

问题背景：

1 写map-reduce程序，用到第三方jar，怎么打包并提交项目到服务器执行。

2 mahout中itembased算法，将uid从string映射为long。

 

我这里实现的具体功能是：

Mahout的itembased算法的数据格式是：uid,vid,score。其中uid和vid必须是数字型（long），score是小数整数都可以。

然而我这里每行记录的字段uid,vid,score，

uid是含有字母。因此我必须把uid从string映射到long。

考虑到速度，就用分布式程序来做这个转换。

此外，还直接调用了mahout里面的一个类

org.apache.mahout.cf.taste.impl.model.MemoryIDMigrator

用Maven创建一个标准化的Java项目

mvn archetype:generate-DarchetypeGroupId=org.apache.maven.archetypes -DgroupId=org.linger.mahout-DartifactId=mahoutProject -DpackageName=org.linger.mahout -Dversion=1.0-DinteractiveMode=false

 

执行mvn clean install初始化项目，注意会自动生成一个pom.xml文件。

 

修改pom.xml，

1 先把junit的去掉。

 

2 在pom.xml添加mahout依赖jar（这里先不研究mahout这些jar依赖怎么得出来的）

         <properties>
                   <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
                   <mahout.version>0.8</mahout.version>
         </properties>
 
         <dependencies>
                   <dependency>
                            <groupId>org.apache.mahout</groupId>
                            <artifactId>mahout-core</artifactId>
                            <version>${mahout.version}</version>
                   </dependency>
                   <dependency>
                            <groupId>org.apache.mahout</groupId>
                            <artifactId>mahout-integration</artifactId>
                            <version>${mahout.version}</version>
                            <exclusions>
                                     <exclusion>
                                               <groupId>org.mortbay.jetty</groupId>
                                               <artifactId>jetty</artifactId>
                                     </exclusion>
                                     <exclusion>
                                               <groupId>org.apache.cassandra</groupId>
                                               <artifactId>cassandra-all</artifactId>
                                     </exclusion>
                                     <exclusion>
                                               <groupId>me.prettyprint</groupId>
                                               <artifactId>hector-core</artifactId>
                                     </exclusion>
                            </exclusions>
                   </dependency>
         </dependencies>

3 在pom.xml配置jar打包选项

<build>
    <plugins>
         <plugin>
              <artifactId>maven-assembly-plugin</artifactId>
               <configuration>
                    <archive>
                         <manifest>
                             <mainClass>org.linger.mahout.mapreducer.UserVideoFormat</mainClass>
                         </manifest>
                    </archive>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
               </configuration>
               <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                         <goals>
                             <goal>single</goal>
                         </goals>
                    </execution>
               </executions>
         </plugin>
    </plugins>
</build>

 

我写的map-reduce代码

package org.linger.mahout.mapreducer;

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.FileInputFormat;
import org.apache.hadoop.mapred.FileOutputFormat;
import org.apache.hadoop.mapred.JobClient;
import org.apache.hadoop.mapred.JobConf;
import org.apache.hadoop.mapred.MapReduceBase;
import org.apache.hadoop.mapred.Mapper;
import org.apache.hadoop.mapred.OutputCollector;
import org.apache.hadoop.mapred.Reporter;
import org.apache.hadoop.mapred.TextInputFormat;
import org.apache.hadoop.mapred.TextOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
import org.apache.mahout.cf.taste.impl.model.MemoryIDMigrator;


public class UserVideoFormat {

	 public static class Map extends MapReduceBase implements Mapper<LongWritable, Text, Text, Text> 
	 {
		 	     private Text userId = new Text(); 	
		 	     private Text lefts = new Text(); 
		 	     private MemoryIDMigrator thing2long = new MemoryIDMigrator(); 
		 	      public void map(LongWritable key, Text value, OutputCollector<Text, Text> output, Reporter reporter) throws IOException 
		 	      {
		 	    	  String line = value.toString();
		 	    	  int spliter = line.indexOf(',');
		 	    	  String userStr = line.substring(0, spliter);
		 	    	  String leftsStr = line.substring(spliter+1);
		 	    	   
		 	    	  userId.set(Long.toString(thing2long.toLongID(userStr)));
		 	     	  lefts.set(leftsStr);
				      output.collect(userId, lefts);

		 	      }
	 }
	 
	public static void main(String[] args) throws IOException {
		// TODO Auto-generated method stub
		JobConf conf = new JobConf(UserVideoFormat.class);
		conf.setJobName("UserVideoFormat");

		
		
	    conf.setOutputKeyClass(Text.class);
		conf.setOutputValueClass(Text.class);
	
	    conf.setMapperClass(Map.class);

	    conf.set("mapred.textoutputformat.separator", ",");
	    
		conf.setInputFormat(TextInputFormat.class);
		conf.setOutputFormat(TextOutputFormat.class);

		String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
		
		FileInputFormat.setInputPaths(conf, new Path(otherArgs[0]));
		FileOutputFormat.setOutputPath(conf, new Path(otherArgs[1]));
		
        
		JobClient.runJob(conf);
	}

}

 

 

执行mvn package打包

在target目录下自动生成mahoutProject-1.0-jar-with-dependencies.jar

 

hadoop jar mahoutProject-1.0-jar-with-dependencies.jarinput output

注意到，由于pom.xml配置中指明该jar包的main函数，所以这里不需要再写明main函数。

否则，一般都会在jar包后面指明main函数。

 

参考资料：

用Maven构建Mahout项目

http://blog.fens.me/hadoop-mahout-maven-eclipse/

Hadoop Job使用第三方依赖jar文件

http://shiyanjun.cn/archives/373.html

mahout做推荐时uid，pid为string类型

http://blog.csdn.net/pan12jian/article/details/38703569

本文链接：http://blog.csdn.net/lingerlanlan/article/details/42086623

本文作者：linger