Hadoop 3.x|第五天|HDFS的API操作(1)

安装windows依赖

首先去官网下好对应版本的hadoop for windows依赖,然后修改环境变量。

配置环境变量

增加系统变量
在这里插入图片描述

配置 Path 环境变量

在这里插入图片描述
然后运行winutils.exe,没有报错说明安装依赖成功在这里插入图片描述

IDEA里创建Maven项目

更改pom.xml里的配置信息

pom.xml 就是 maven 的配置文件,用以描述项目的各种信息
加入如下内容
首先是hadoop版本,为3.1.3
其次junit是一个测试单元。
log4j12是用来打印日志,控制日志级别

    <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>3.1.3</version>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
        </dependency>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>1.7.30</version>
        </dependency>
    </dependencies>

配置好需要restart一下以下载这些依赖。
这些依赖下载时间有点久,时间又有点晚了等到了第二天…

新建log4j.properties文件

在项目的 src/main/resources 目录下,新建一个文件,命名为“log4j.properties”,在文件中填入

log4j.rootLogger=INFO, stdout 
log4j.appender.stdout=org.apache.log4j.ConsoleAppender 
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout 
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n 
log4j.appender.logfile=org.apache.log4j.FileAppender 
log4j.appender.logfile.File=target/spring.log 
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout 
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

指INFO级别,在控制台进行打印。

创建HdfsClient类

在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值