Hadoop命令行执行jar包详解（生成jar、将文件上传到dfs、执行命令、下载dfs文件至本地

https://blog.csdn.net/quiet_girl/article/details/74028204

一、Eclipse中生成jar包
使用[Eclipse中使用Hadoop单机模式开发配置及简单程序示例](http://blog.csdn.net/quiet_girl/article/details/74001759) 的MaxTemperature项目的代码，代码写完之后，将其打包成jar，步骤如下：“右击项目名称 --> Export --> JAR file --> Next --> 设置导出路径 --> Next --> Finish”即可，如下图，在这里我们将jar包的输出路径设置为：/home/lina，名称为example.jar ：

二、将本地文件上传至dfs文件系统
输入文件仍然使用[Eclipse中使用Hadoop单机模式开发配置及简单程序示例](http://blog.csdn.net/quiet_girl/article/details/74001759) 的sample.txt，本地目录为/home/lina/input/sample.txt，现在将此文件上传至dfs文件系统中。 1、在dfs系统中新建一个名为local的文件夹，将当前目录切换到hadoop安装目录下，使用下面的命令：
cd /opt/Hadoop
hdfs dfs -mkdir /local

执行代码之后，我们在网页上查看下，在浏览器中输入"http://localost:50070"，点击“Utilities --> Browse the file system“，在地址栏上输入“/”，则在dfs系统上的所有文件夹及文件都会显示，如下图：

2、将sample.txt上传至local目录下，使用如下命令：
hdfs dfs -put /home/lina/input/sample.txt /local/

上传完毕，在上图中的页面上点击Name下的local链接，打开如下页面，发现sample.txt在列表中，点击sample.txt链接，会弹出sample.txt的详细信息。

三、执行jar包
将当前目录切换到根目录，使用下面的命令：
cd
hadoop jar /home/lina/example.jar com/oss/maxtemperature/MaxTemperatureDriver /local/sample.txt /output/sampleout

其中，/home/lina/example.jar是jar包所在目录，com/oss/maxtemperature/MaxTemperatureDriver是因为main程序是放在com.oss.maxtemperature包下的MaxTemperatureDriver.java下，/local/sample.txt是dfs文件系统下的sample.txt输入文件的目录，/output/sampleout是设定的输出目录。
执行完毕，在浏览器中可以看到多了一个output的文件夹，output下面有sampleout文件夹，sampleout文件夹下是输出内容，包括_SUCCESS和part-r-00000文件（与Eclipse中使用Hadoop单机模式开发配置及简单程序示例 一致），如下图：

四、本地文件的查看及下载至本地
注意：若使用的是server版本的ubuntu，在其他系统的浏览器中是可以浏览的到文件夹信息的，但是在点击download的时候，会提示远程下载不成功等错误，此时处理办法如下： 1、可以使用命令行查看hdfs文件系统的信息，查看某文件夹下的文件命令和查看某个文件的命令如下：
hadoop fs -ls /local     //这条命令作用是查看/local文件夹下的所有文件
hadoop fs -cat /local/sample.txt    //这条命令作用是查看/local文件夹下sample.txt文件的内容

2、针对输出文件，如果我们想要查看其中的内容，我们可以先将其下载至本地，再进行其他操作（例如，直接查看，或者下载至win等），命令如下：
hadoop fs -get /output/sampleout/part-r-00000   //作用：将HDFS文件系统/output/sampleout文件夹下的part-r-00000文件下载至根目录下
hadoop fs -get /output/sampleout/part-r-00000 /home/lina/temp/  //作用：将HDFS文件系统/output/sampleout文件夹下的part-r-00000文件下载至/home/lina/temp目录下

3、删除文件的命令

hadoop  fs -rm  /local/sample.txt   //作用：将/local文件目录下的sample.txt文件删除
hadoop fs -rm -r /local  //将local文件夹及其内部的文件删除
--------------------- 
原文：https://blog.csdn.net/quiet_girl/article/details/74028204