Hadoop实例学习(二)JAVA_API前的配置

最新推荐文章于 2022-07-26 12:20:22 发布

阳光里哭泣的狗

最新推荐文章于 2022-07-26 12:20:22 发布

阅读量3.5k

点赞数 4

分类专栏： hadoop 文章标签： maven java 大数据 hadoop hdfs

本文链接：https://blog.csdn.net/qq_43659234/article/details/109090919

版权

hadoop 专栏收录该内容

22 篇文章 4 订阅

订阅专栏

在window中的操作

Hadoop在windows中的安装包

解压!!!得放在非中文路径下

在这里插入图片描述

windows配置相关环境变量

在这里插入图片描述

查看是否成功

输入winutils查看
在这里插入图片描述

在idea中创建maven项目

创建maven

点击新建项目
在这里插入图片描述
随便写就行

添加依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>

<groupId>com.itcast</groupId>
<artifactId>HadoopDemo</artifactId>
<version>1.0-SNAPSHOT</version>

<properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <hadoop.version>3.0.0</hadoop.version>
</properties>

<dependencies>
    <!-- Hadoop -->
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>3.0.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-hdfs</artifactId>
        <version>3.0.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-core</artifactId>
        <version>3.0.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-jobclient</artifactId>
        <version>3.0.0</version>
    </dependency>
    <dependency>
        <groupId>jdk.tools</groupId>
        <artifactId>jdk.tools</artifactId>
        <version>1.8</version>
        <scope>system</scope>
        <systemPath>C:/Program Files/Java/jdk1.8.0_151/lib/tools.jar</systemPath>
    </dependency>
</dependencies>
</project>

在这里插入图片描述
检查

没有报错说明成功

测试

创建一个文件进行测试一下
在这里插入图片描述

package hdfsdemo;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
/**
 * @author 
 * @time : 2020/10/15 19:38
 * @File : test.java
 */
public class test {
    public void testMkdirs() throws IOException, InterruptedException, URISyntaxException {

        // 1 获取文件系统
        Configuration configuration = new Configuration();
        // 配置在集群上运行
        FileSystem fs = FileSystem.get(URI.create("hdfs://master:9870"), configuration);

        // 2 创建目录
        fs.mkdirs(new Path("自己决定"));

        // 3 关闭资源
        fs.close();
    }
}