用java下载hdfs文件报NullPointerException

最新推荐文章于 2021-06-30 00:15:01 发布
最新推荐文章于 2021-06-30 00:15:01 发布
阅读量275 收藏
点赞数
文章标签： java 大数据 shell
原文链接：http://www.cnblogs.com/zhuzhixijiang/p/5141454.html
版权

用fs.copyToLocalFile( hdfsPath,localPath);下载hdfs的文件会报NullPointerException,具体报错为:

java.lang.NullPointerException
    at java.lang.ProcessBuilder.start(ProcessBuilder.java:1012)
    at org.apache.hadoop.util.Shell.runCommand(Shell.java:487)
    at org.apache.hadoop.util.Shell.run(Shell.java:460)
    at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:720)
    at org.apache.hadoop.util.Shell.execCommand(Shell.java:813)
    at org.apache.hadoop.util.Shell.execCommand(Shell.java:796)
    at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:656)
    at org.apache.hadoop.fs.FilterFileSystem.setPermission(FilterFileSystem.java:490)
    at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:462)
    at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:428)
    at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:908)
    at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:889)
    at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:786)
    at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:365)
    at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:338)
    at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:289)
    at org.apache.hadoop.fs.FileSystem.copyToLocalFile(FileSystem.java:1970)
    at org.apache.hadoop.fs.FileSystem.copyToLocalFile(FileSystem.java:1939)
    at org.apache.hadoop.fs.FileSystem.copyToLocalFile(FileSystem.java:1915)
    at hadoop.downFile.downloadFileorDirectoryOnHDFS(downFile.java:29)
    at hadoop.downFile.main(downFile.java:12)

解决方法:将fs.copyToLocalFile( hdfsPath,localPath);改为fs.copyToLocalFile( false,hdfsPath,localPath,true);

原因:不理解,但加上这两个后确实可以下载

转载于:https://www.cnblogs.com/zhuzhixijiang/p/5141454.html

weixin_30915951
关注
java 报null_用java下载hdfs文件报NullPointerException
weixin_42628688的博客
02-25 185
java.lang.NullPointerExceptionat java.lang.ProcessBuilder.start(ProcessBuilder.java:1012)at org.apache.hadoop.util.Shell.runCommand(Shell.java:487)at org.apache.hadoop.util.Shell.run(Shell.java:460)at...
使用Java实现HDFS文件读写
qq_48395735的博客
06-30 8772
1、HDFS读文件 2、HDFS写文件 3、实例操作 3.1新建Mawen工程 3.2在pom.xml中将标签中内容替换为以下代码，静待依赖包下载完毕 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.11</version>
java.lang.NullPointerException的解决方法
10-30
启动Tomcat时出现了下面的这种错误，找了很久的原因终于知道是因为tomcat和jdk要放在任意一个盘的根目录下面，而不能是放在 而不能放在某个盘根目录下的子目录里面，最好是放在C盘的根目录下面（比如C:\tomcat-6.0.20、C:\jdk1.6）！
hadoop启动java.lang.nullpointerexception_[hadoop] map函数中使用FileSystem对象出现java.lang.NullPointerException...
weixin_30289299的博客
02-28 366
问题描述：在hadoop中处理多个文件，其中每个文件一个map。我使用的方法为生成一个文件，文件中包含所有要压缩的文件在HDFS上的完整路径。每个map 任务获得一个路径名作为输入。在eclipse中调试时，map中处理hdfs上的文件用到的FileSystem对象为整个class中的静态成员变量，在eclipse中运行没有错误，打包成jar提交到集群运行，就会在map函数中FileStatus ...
hdfs下载copyToLocalFile报NullPointerException解决方法
zyxzj的博客
09-04 1447
fs.copyToLocalFile(new Path("/**.***"), new Path("e:/**.***")); 报NullPointerException，可能是因为windows下系统环境变量引起，试验出两种解决方法： InputStream in = fs.open(new Path("/**.***")); FileOutputStream out = new File
Hadoop NullPointerException
火炬手
03-24 2434
今天在写一个MapReduce的程序时，遇到了一个java.lang.NullPointerException。具体的错误信息如下： java.lang.NullPointerException at org.apache.hadoop.io.serializer.SerializationFactory.getSerializer(SerializationFactory.java:73
[HDFS]--windows读取远程服务器文件copyToLocalFile出现java.lang.NullPointerException异常
就是为了年薪百万
07-15 963
起因 在使用api“public void copyToLocalFile(boolean delSrc, Path src, Path dst)”对文件进行操作的时候出现以下异常。异常栈如下Exception in thread "main" java.lang.NullPointerException at java.lang.ProcessBuilder.start(Proc...
java hdfs导入hbase_MapReduce将HDFS文本数据导入HBase中
weixin_39569051的博客
02-26 546
HBase本身提供了很多种数据导入的方式，通常有两种常用方式：使用HBase提供的TableOutputFormat，原理是通过一个Mapreduce作业将数据导入HBase另一种方式就是使用HBase原生Client API本文就是示范如何通过MapReduce作业从一个文件读取数据并写入到HBase中。首先启动Hadoop与HBase，然后创建一个空表，用于后面导入数据：hbase(main)...
HdfsClient-在本地开发环境使用Java远程连接操作HDFS
super_man_1995的博客
06-30 1447
一、pom.xml配置 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apac
hadoop下载文件出现的问题java.lang.NullPointerException
mqingo的博客
01-17 825
hadoop下载文件 代码如下： package week01; import java.io.FileInputStream; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import org.apache.commons.io.IOUtils; imp...
Hadoop中HDFS使用Java API进行open方法查阅文件内容：报错java.nio.channels.UnresolvedAddressException的解决办法
弗兰-随风小欢的博客
10-23 2988
博主在使用Java API操作Hadoop中的HDFS时，使用open方法查阅相应的内容，结果报错如下的截图： 经过上网查询相应的问题，得到了相应的解决办法。 由于博主使用的是阿里云的机器，所以在连接HDFS时使用的是纯外网IP连接写在了代码中，如下截图：（为了避免隐私问题， 这里的IP地址用xx代替）解决办法就是改变本机上的hosts,在代码里面不建议使用纯IP来连接HDF...
Hadoop开发相关问题总结
06-14 4041
总结自己在Hadoop开发中遇到的问题，主要在mapreduce代码执行方面。大部分来自日常代码执行错误的解决方法，还有一些是对JAVA、Hadoop剖析。对于问题，通过查询stackoverflow、csdn找到了解决方法。汇总出来以后查询方便。内容将不定期更新。
Hadoop HDFS (3) JAVA访问HDFS
Norris的专栏
09-28 5160
现在我们来深入了解一下Hadoop的FileSystem类。这个类是用来跟Hadoop的文件系统进行交互的。虽然我们这里主要是针对HDFS，但是我们还是应该让我们的代码只使用抽象类FileSystem，这样我们的代码就可以跟任何一个Hadoop的文件系统交互了。在写测试代码时，我们可以用本地文件系统测试，部署时使用HDFS，只需配置一下，不需要修改代码了。 在Hadoop 1.x以后的版本中引入
hadoop java api下载文件_Java api 从hdfs上下载文件失败，报错null指针，怎么回事啊...
weixin_30119469的博客
02-15 345
@Testpublic void copyToLocalFile() throws Exception {Path localPath = new Path("C:\\Users\\18811\\Desktop");Path hdfsPath = new Path("/hello.txt");fileSystem.copyToLocalFile(hdfsPath, localPath);}java...
flume启动过程中配置错误出现的异常问题
weixin_40122615的博客
10-12 9795
java.lang.NullPointerException: hdfs.path is required 19/10/11 17:20:48 INFO node.PollingPropertiesFileConfigurationProvider: Configuration provider starting 19/10/11 17:20:48 INFO node.PollingPropert...
hdfs下载出现Exception in thread "main" java.lang.NullPointerException
bear
05-23 3755
hdfs使用copyToLocalFile下载文件时出现Exception in thread "main" java.lang.NullPointerException。
NullPointerException异常的原因及java异常
m0_49976286的博客
10-06 8211
NullPointerException异常的原因及java异常？？1.空指针异常1.1空指针异常原因2.java异常2.1异常机制概述2.2异常处理的流程2.3异常的结构2.4Error异常2.5RuntimeException异常2.6Checked Exception异常2.7在声明方法时候抛出异常2.8在方法中如何抛出异常2.9为什么要创建自己的异常？2.10throw和throws的区别2.11**应该在声明方法抛出异常还是在方法中捕获异常？**2.12**使用finally块释放资源**2.13
java下载hdfs文件_java实现下载hdfs文件及文件夹
最新发布
06-07
您好，要在Java中下载HDFS文件或文件夹，可以使用Hadoop API中的FileSystem类。 以下是下载HDFS文件的示例代码： ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import java.io.IOException; import java.io.OutputStream; import java.net.URI; import java.net.URISyntaxException; public class HDFSFileDownload { public static void main(String[] args) throws IOException, URISyntaxException { String hdfsUri = "hdfs://localhost:9000"; String filePath = "/user/hadoop/example.txt"; String localPath = "example.txt"; Configuration config = new Configuration(); // 设置HDFS的URI config.set("fs.defaultFS", hdfsUri); // 创建HDFS文件系统对象 FileSystem fs = FileSystem.get(new URI(hdfsUri), config); // 创建HDFS文件路径对象 Path hdfsPath = new Path(filePath); // 创建本地文件路径对象 Path localPathObj = new Path(localPath); // 打开HDFS文件输入流 OutputStream outputStream = fs.create(localPathObj); // 从HDFS文件中复制数据到本地文件 fs.copyToLocalFile(hdfsPath, localPathObj); // 关闭输出流和文件系统 outputStream.close(); fs.close(); } } ``` 要下载HDFS文件夹，可以使用递归函数来遍历文件夹中的所有文件并下载它们。以下是示例代码： ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; public class HDFSFolderDownload { public static void main(String[] args) throws IOException, URISyntaxException { String hdfsUri = "hdfs://localhost:9000"; String folderPath = "/user/hadoop/example"; String localPath = "example"; Configuration config = new Configuration(); // 设置HDFS的URI config.set("fs.defaultFS", hdfsUri); // 创建HDFS文件系统对象 FileSystem fs = FileSystem.get(new URI(hdfsUri), config); // 创建HDFS文件夹路径对象 Path hdfsFolderPath = new Path(folderPath); // 创建本地文件夹路径对象 Path localFolderPath = new Path(localPath); // 如果本地文件夹不存在，则创建它 if (!localFolderPath.exists()) { localFolderPath.mkdir(); } // 遍历HDFS文件夹并下载所有文件 downloadFolder(fs, hdfsFolderPath, localFolderPath); // 关闭文件系统 fs.close(); } public static void downloadFolder(FileSystem fs, Path hdfsFolderPath, Path localFolderPath) throws IOException { // 获取HDFS文件系统中的所有文件和文件夹 Path[] pathList = fs.listPaths(hdfsFolderPath); // 遍历文件和文件夹 for (Path path : pathList) { if (fs.isDirectory(path)) { // 如果是文件夹，则递归下载它 Path localPath = new Path(localFolderPath, path.getName()); downloadFolder(fs, path, localPath); } else { // 如果是文件，则下载它 Path localPath = new Path(localFolderPath, path.getName()); fs.copyToLocalFile(path, localPath); } } } } ``` 希望这些代码能够帮助到您！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值