HDFS(1)(3)——编码实战

最新推荐文章于 2022-07-01 16:18:26 发布

痴迷的小小工匠

最新推荐文章于 2022-07-01 16:18:26 发布

阅读量227

点赞数

分类专栏： hadoop 文章标签： hdfs

本文链接：https://blog.csdn.net/li1019865596/article/details/118265919

版权

一、客户端环境准备

(1)将Hadoop-2.9.2安装包解压到非中文路径

（例如：E:\hadoop-2.9.2）

(2)配置HADOOP_HOME环境变量

(3)创建一个Maven工程,添加依赖

<dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>RELEASE</version>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-core</artifactId>
            <version>2.8.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.9.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.9.2</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.9.2</version>
        </dependency>
    </dependencies>

二、编码（实现hdfs创建、上传、下载等）

public class HdfsClient {
    FileSystem fs;
    Configuration configuration;

    @Before
    public void init() throws Exception {
        // 1 获取文件系统
        configuration = new Configuration();
        configuration.set("dfs.replication", "2");
        fs = FileSystem.get(new URI("hdfs://linux126:9000"),
                configuration, "root");
    }

    @After
    public void destory

最低0.47元/天解锁文章