java对hdfs的上传、下载、读取文件

最新推荐文章于 2024-02-23 11:39:19 发布

呆萌小潼

最新推荐文章于 2024-02-23 11:39:19 发布

阅读量1k

点赞数

本文链接：https://blog.csdn.net/qq_36646591/article/details/83268570

版权

本文介绍了如何使用Java与Hadoop分布式文件系统（HDFS）进行交互，包括File对象上传到HDFS，提供两种下载文件的方式，如返回InputStream和通过浏览器下载API，并详细阐述了读取HDFS文件内容的方法。

摘要由CSDN通过智能技术生成

File对象上传到hdfs

/**
     * File对象上传到hdfs
     * @param filesrc
     * @param hdfsPath
     * @param filename
     * @return
     */
    public static Boolean uploadFile(String filesrc, String hdfsPath,String filename)  {    
        InputStream in = null;    
        try {    
            Configuration conf = new Configuration();    
//            conf.set("hadoop.home.dir", "E:\\hadoop-2.2.0");
//            if(System.getProperties().getProperty("os.name").toLowerCase().contains("windows")){
//	            System.setProperty("hadoop.home.dir", "E:\\hadoop-2.2.0");//windowg下配置
//            }
            conf.set("fs.defaultFS",  DMPConfigUtils.DMP_HDFS_URL);
            conf.set("user.name", DMPConfigUtils.DMP_HDFS_USER);
            System.setProperty("HADOOP_USER_NAME", DMPConfigUtils.DMP_HDFS_USER);
            logger.info("HADOOP_USER_NAME="+DMPConfigUti