用JAVA现实Hadoop任务

一.JAVA部分

maven需要提前自行安装

• 第一步：使用idea新建maven项目
  

• 第二步：填入项目名/包名
  

• 第三步：选择自己maven的安装路径
  

• 第四步：选择项目存放位置，最后finish

• 第五步：右下角会有个弹框选择
  

• 第六步：在项目列表选择pom.xml
  

• 第七步：修改pom.xml文件（修改完后版本号字体会是红色，右下角会有下载进度条，等待完成即可）

如何该部分遇到问题，可能是下载没成功，可以根据错误提示查找处理方法

<?xml version="1.0" encoding="UTF-8"?>

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>

  <groupId>cn.kgc.kb09</groupId>
  <artifactId>hdfs</artifactId>
  <version>1.0-SNAPSHOT</version>

  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <maven.compiler.source>1.8</maven.compiler.source>
    <maven.compiler.target>1.8</maven.compiler.target>
  </properties>

  <dependencies>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>4.12</version>
      <scope>test</scope>
    </dependency>
      <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.6.0</version>
      </dependency>
      <dependency>
          <groupId>org.apache.hadoop</groupId>
          <artifactId>hadoop-hdfs</artifactId>
          <version>2.6.0</version>
      </dependency>
      <dependency>
          <groupId>org.apache.hadoop</groupId>
          <artifactId>hadoop-core</artifactId>
          <version>1.2.0</version>
      </dependency>
  </dependencies>
</project>

• 第八步：安装好后可以在external libraries下看到茫茫多的包
  

• 第八步：在src/main/自己创建的包名下新建Class

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.net.URI;

/**
 * @ Author: Zhangyu
 * @ Date: 2020/9/10
 * @ Description:
 */
public class testHDFS {
    public static void main(String[] args) throws Exception{
    		//注意使用类的时候选择rg.apache.hadoop...包下的
            FileSystem fs=FileSystem.get(new URI("hdfs://IP地址:9000"),new Configuration(),"root");
            //创建目录
            fs.mkdirs(new Path("/hello/nihao/wohenhao"));
            //copyFromLocalFile方法第一个参数是待上传文件的路径，第二个参数为上传后存放的位置
            //上传文件：args为执行命令时手动输入的参数数组，0为待上传文件路径
            fs.copyFromLocalFile(new Path(args[0]),"/hello/nihao/wohenhao");
            //读取指定文件路径的所有数据显示在输出框中
            //FSDataInputStream is=fs.open("/hello/nihao/wohenhao/a.txt");
            //将读取的数据按行输出
            /*int tmp;
            while((tmp=is.read())!=-1){
                  System.out.println((char)tmp);
            }
            is.close();*/
            //删除目录
            fs.deleteOnExit("/hello/nihao/wohenhao");
            

    }
}

• 第九步：打JAR包
  

• 第十步：选择需要打jar包的项目后，全选择ok/完成
  

• 第十一步：Build artifacts
  

• 第十二步：build
  

• 第十三步：找到jar包的位置
  

• 第十四步：将jar包导入linux服务器目录下

实现代码包路径：是java类的路径例如：/scr/main/…

• 第十五步：执行命令(需要启动好Hadoop)：hadoop jar [jar包名] [实现代码包路径] [参数1] [参数2] ...