hadoop的基本使用（java客户端）尚硅谷学习

pomelo_wang

已于 2024-01-15 18:03:44 修改

阅读量513

点赞数 12

文章标签： hadoop java 大数据

于 2024-01-15 18:01:42 首次发布

本文链接：https://blog.csdn.net/pomelo_wang/article/details/135607472

版权

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS。来自百度。

一、前期准备

启动hadoop集群，确认配置好后，进行下一步

二、依赖导入

    <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>3.3.0</version>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
        </dependency>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>1.7.30</version>
        </dependency>
    </dependencies>

三、配置日志输出

新创建文件log4j.properties在resource目录下

log4j.rootLogger=INFO, stdout  
log4j.appender.stdout=org.apache.log4j.ConsoleAppender  
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout  
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n  
log4j.appender.logfile=org.apache.log4j.FileAppender  
log4j.appender.logfile.File=target/spring.log  
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout  
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

四、客户端实现，注解来自junit

对于属性的设置可以通过对config的set方法进行设置

public class HdfsClient {

    FileSystem fs;

    @Before
    public void init() throws URISyntaxException, IOException, InterruptedException {
        URI uri = new URI("hdfs://192.168.8.109:8020");
        Configuration config = new Configuration();

        fs = FileSystem.get(uri, config, "pomelo");

    }

    @After
    public void close() throws IOException {
        fs.close();
    }

    @Test
    public void testMkdir() throws URISyntaxException, IOException, InterruptedException {

        fs.mkdirs(new Path("/xiyou/huaguoshan1"));

    }
}