hadoop HDFS文件的上传与下载

package com.zyc.hadoop.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.IOException;
import java.net.URI;

/**
* Created with IntelliJ IDEA.
*
* @Author: zyc2913@163.com
* @Date: 2020/9/1 17:20
* @Version: 1.0
* @Description: hadoop HDFS的基本操作
*/
public class HdfsTest1 {

    public static void main(String[] args) throws Exception{
        /**
         * 0.创建配置文件对象
         */
        Configuration conf = new Configuration();
        /**
         * 这个对象可以在程序运行时临时修改Hadoop的一些配置参数:比如修改副本数.
         * 系统默认的副本数为"2",这里设置为"1",因为优先级顺序为:代码中的设置  > resource的配置文件  > 集群的配置
         */
        //设置副本数
        conf.set("dfs.replication","1");
        //设置主机ip和端口号(ip如果换成主机名可能会报错)
        URI uri = URI.create("hdfs://192.168.9.11:9000/");
        /**
         *  1.通过FileSystem创建HDFS文件系统对象
         *  HDFS 的API入口类是FileSystem,FileSystem 有多个实现类
         *  FileSystem 可以根据URI兼容各种各样不同的文件系统
         */
        FileSystem fs = FileSystem.get(uri, conf, "root");
        //创建一个判断标记
        boolean flag;

        //上传文件:调用上传文件的方法,控制台输出“文件上传成功”
        //upload(fs);
        //System.out.println("文件上传成功");
        //下载文件
        //download(fs);
        //System.out.println("下载成功");
        //创建文件
        flag = fs.mkdirs(new Path("/5.txt"));
        //System.out.println(flag);
        //删除文件
        //flag = fs.delete(new Path("/4.txt"), true);
        System.out.println(flag);

    }
    //下载文件:从虚拟机目录到本地目录
    private static void download(FileSystem fs) throws IOException {
        fs.copyToLocalFile(new Path("/1.txt"),
                new Path("C:\\Users\\Administrator\\Desktop\\1.txt"));

    }
    //上传文件(覆盖):从本地源文件目录到虚拟机目标目录
    private static void upload(FileSystem fs) throws IOException {
        fs.copyFromLocalFile(new Path("C:\\Users\\Administrator\\Desktop\\flume.txt"),
                new Path("/"));
    }
}

Hadoop HDFS (Hadoop Distributed File System) 是一个分布式文件系统,它作为Hadoop框架的核心组件,用于存储大量数据。在Hadoop环境中,上传文件通常是通过Hadoop命令行工具如`hadoop fs -put` 或者通过Hadoop的客户端API(例如Java API)来完成。 以下是一个简单的步骤概述: 1. **设置环境**:首先,你需要安装Hadoop,并配置好HDFS。确保Hadoop守护进程(NameNode和DataNodes)正在运行。 2. **上传文件**: - 使用命令行: ``` hadoop fs -put /path/to/local/file /path/in/hdfs ``` - 如果你在Java应用中操作,可以使用`FileSystem`接口: ```java Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); Path src = new Path("localFile.txt"); Path dst = new Path("hdfs://namenode:port/path/in/hdfs"); fs.copyFromLocalFile(src, dst); ``` 3. **WordCount示例**:WordCount是一个经典的Hadoop MapReduce示例,它计算文本文件中的单词计数。你可以在上传文件之后,编写一个MapReduce程序来处理这个任务。首先,创建Mapper和Reducer,然后使用`Job`类提交作业: - 创建Mapper和Reducer类,解析输入,将单词映射到键值对。 - 使用`Job`类配置mapreduce job,并指定输入、输出路径以及分片的数量。 4. **运行WordCount**: ```java Job job = Job.getInstance(conf, "word count"); job.setJarByClass(YourDriverClass.class); // Your driver class that contains Mapper and Reducer FileInputFormat.addInputPath(job, new Path(dst.toString())); FileOutputFormat.setOutputPath(job, new Path("/output/directory")); job.waitForCompletion(true); ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值