将idea项目打包在Hadoop集群运行 / 在Hadoop集群上运行jar包

将idea项目打包在集群运行

一、项目打包

选中Maven，会出现如下：

双击package，在控制台出现如下内容

project出现压缩包：

二、导入

（1）jar包

将jar包放在 /opt/module/hadoop-2.7.2/share/hadoop/mapreduce 下

连接Xshell，通过sftp将压缩包导入

（2）输入文件

1、在==/opt/module/hadoop-2.7.2/==下创建projectdata目录，传入文件

2、将文件传到HDFS文件系统

[f@hadoop2 hadoop-2.7.2]$ bin/hadoop fs -put 上传文件路径 hdfs路径 

三、开启集群进程

HDFS

[f@hadoop2 hadoop-2.7.2]$ sbin/start-dfs.sh

Yarn

[f@hadoop4 hadoop-2.7.2]$ sbin/start-yarn.sh

四、运行：在Hadoop集群上运行jar包

（1）运行命令

/opt/module/hadoop-2.7.2/bin/hadoop + jar + jar包路径 + 驱动类在jar包中的路径 + hdfs文件输入路径 + hdfs文件输出路径

[f@hadoop2 hadoop-2.7.2]$ bin/hadoop jar share/hadoop/mapreduce/bd1-1.0.jar 驱动类在jar包中的路径 hdfs文件输入路径 hdfs文件输出路径

（2）查看运行结果

可以在网页查看：50070

Xshell：

1. [f@hadoop2 hadoop-2.7.2]$ bin/hadoop fs -cat hdfs输出文件路径
   

2. [f@hadoop2 hadoop-2.7.2]$ bin/hdfs dfs -cat hdfs输出文件路径
   

补充

sbin目录：

集群的启动，关闭命令都在这里

bin目录

对HDFS文件系统进行操作，可以使用hadoop和hdfs