MapReduce,架包

MapReduce架包、调试WordCount程序

一、在上一个发布的hdfs的基础上运行架包
package hdfs.files;
import java.io.IOException;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.log4j.BasicConfigurator;
public class HDFSFilelfExist {
public static void main(String[] args) throws IOException{
BasicConfigurator.configure();
System.setProperty(“HADOOP_USER_NAME”, “root”);
org.apache.hadoop.conf.Configuration conf=new org.apache.hadoop.conf.Configuration();
conf.set(“fs.defaultFS”, “hdfs://192.168.199.131:9000”);
FileSystem client=FileSystem.get(conf);
String fileName="/bb.txt";
if(client.exists(new Path(fileName))) {
System.out.println(“文件存在！”);
}else {
System.out.println(“文件不存在！”);
}
}
}
在没有报错的基础对HDFSFilefExist.java程序进行打包。

二、把HDFSFilefExist.java从hdfs.files包中拖出来，它会自动形成另一个包default.package。

三、打包
1、（1）选中default.package→Export——Java——JAR file——next。

2、选择存放的路径，最后选择Finish，打包完成。

四、传输和解压架包
（1）打开SecureCRT，SecureCRT 【File】→【Connect SFTP Session】开启sftp操作
运行命令传输架包命令：put E:jar.jar
（2）解压架包tar -zxvf mp.jar -C /opt/module

五、运行自带程序wordcount
（1）运行cd /opt/module/hadoop-2.7.3/share/hadoop/mapreduce 转入wordcount所在路径。
（2）运行wordcount
hadoop jar jar.jar HDFSFileIfExist
运行成功之后，会出现文件已存在，说明架包成功。