[HDFS]--windows读取远程服务器文件copyToLocalFile出现java.lang.NullPointerException异常

最新推荐文章于 2024-02-23 11:39:19 发布
最新推荐文章于 2024-02-23 11:39:19 发布
阅读量964 收藏
点赞数
分类专栏： HDFS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/upgroup/article/details/81053128
版权

起因

        在使用api“public void copyToLocalFile(boolean delSrc, Path src, Path dst)”对文件进行操作的时候出现以下异常。

异常栈如下

Exception in thread "main" java.lang.NullPointerException
	at java.lang.ProcessBuilder.start(ProcessBuilder.java:1012)
	at org.apache.hadoop.util.Shell.runCommand(Shell.java:482)
	at org.apache.hadoop.util.Shell.run(Shell.java:455)
	at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:715)
	at org.apache.hadoop.util.Shell.execCommand(Shell.java:808)
	at org.apache.hadoop.util.Shell.execCommand(Shell.java:791)
	at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:659)
	at org.apache.hadoop.fs.FilterFileSystem.setPermission(FilterFileSystem.java:490)
	at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:462)
	at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:428)
	at org.apache.hadoop.fs.FileSystem.create(FileSystem.j
最低0.47元/天 解锁文章
就是为了年薪百万
关注
专栏目录
hadoop下载文件出现的问题java.lang.NullPointerException
mqingo的博客
01-17 826
hadoop下载文件 代码如下： package week01; import java.io.FileInputStream; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import org.apache.commons.io.IOUtils; imp...
Hadoop copyToLocalFile报java.lang.NullPointerException空指针异常
bug程序猿的博客
11-29 2383
在做hadoop下载文件的时候使用 fs.copyToLocalFile(new Path("hdfs://192.168.2.100:9000/test.txt"), new Path("c:/")); 报了一个空指针异常，在查阅资料后改为一下语句即可解决上述空指针异常的问题  fs.copyToLocalFile(false,new Path("hdfs://192.168.
hdfs下载copyToLocalFile报NullPointerException解决方法
bigdatafj的博客
08-07 282
## hdfs下载copyToLocalFile报NullPointerException解决方法 ## 工作遇到的问题： fs.copyToLocalFile(new Path(“/.“), new Path(“e:/.“)); 报NullPointerException，可能是因为windows下系统环境变量， 找不到winutils.exe引起的 试验出两种解决方法： 方法一...
23.操作HDFS报java.lang.NullPointerException
知其然，知其所以然
09-29 1175
1.项目场景： 在IDEA里面编写Code，在HDFS上来创建一个目录。 2.源代码： //c/s @Before public void conn() throws Exception { Configuration conf = new Configuration(true); FileSystem fs = FileSystem.get(conf); //FileSystem fs = FileSystem.get(java.net
使用Java下载hdfs文件到本地
最新发布
yang_weidong的博客
02-23 909
2、fs.open(Path f)通过获取数据流的方式下载到本地。1、fs.copyToLocalFile复制到本地。
解决 调用copyFromLocalFile方法 java.io.FileNotFoundException File /xxx/xxx.txt does not exist.
qq_21277357的博客
09-15 2944
因为我用的是windows机器连接linux 所以上传路径(src)要改成windows的路径 Path src=new Path("D:\\weixin\\b.txt"); Path dst=new Path("/hdfsapi/test/"); fileSystem.copyFromLocalFile(src,st); ...
HdfsClient-在本地开发环境使用Java远程连接操作HDFS
super_man_1995的博客
06-30 1450
一、pom.xml配置 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apac
HDFS的API操作（通过springboot实现）
m0_52931616的博客
10-23 1783
在windows下编程并运行代码对虚拟机中的hadoop集群进行操作。主体内容为讲述如何使用HDFS API对HDFS分布式文件系统进行操作，
java hdfs导入hbase_MapReduce将HDFS文本数据导入HBase中
weixin_39569051的博客
02-26 547
HBase本身提供了很多种数据导入的方式，通常有两种常用方式：使用HBase提供的TableOutputFormat，原理是通过一个Mapreduce作业将数据导入HBase另一种方式就是使用HBase原生Client API本文就是示范如何通过MapReduce作业从一个文件读取数据并写入到HBase中。首先启动Hadoop与HBase，然后创建一个空表，用于后面导入数据：hbase(main)...
关于window下ecplise的hadoop使用copytolocalfile异常的问题
FA的博客
04-02 399
关于window下ecplise的hadoop使用copytolocalfile异常的问题 先贴异常 Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.createFileWithMode0 (Ljava/lang/String;JJJ...
java实现对hdfs上文件的上传与下载
CSDN_Hzx的博客
02-21 4254
从hdfs上下载到本地 /** *src:hdfs路径 例：hdfs://192.168.0.168:9000/data/a.json *dst：本地路径 */ public static void Hdfs2Local(String src, String dst) { try { Configuration conf = new Con...
本地使用HDFS-API连接远程Hadoop报错
Hager930的博客
01-25 445
背景 本地使用HDFS-API访问远程Hadoop的时候报错：（如：执行fileSystem.copyFromLocalFile(src, dst)时） org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /haohaodata/haohaodata.txt could only be replicated to 0 n...
Hadoop HDFS (3) JAVA访问HDFS
Norris的专栏
09-28 5162
现在我们来深入了解一下Hadoop的FileSystem类。这个类是用来跟Hadoop的文件系统进行交互的。虽然我们这里主要是针对HDFS，但是我们还是应该让我们的代码只使用抽象类FileSystem，这样我们的代码就可以跟任何一个Hadoop的文件系统交互了。在写测试代码时，我们可以用本地文件系统测试，部署时使用HDFS，只需配置一下，不需要修改代码了。 在Hadoop 1.x以后的版本中引入
hadoop java api下载文件_Java api 从hdfs上下载文件失败，报错null指针，怎么回事啊...
weixin_30119469的博客
02-15 345
@Testpublic void copyToLocalFile() throws Exception {Path localPath = new Path("C:\\Users\\18811\\Desktop");Path hdfsPath = new Path("/hello.txt");fileSystem.copyToLocalFile(hdfsPath, localPath);}java...
用java下载hdfs文件报NullPointerException
weixin_30915951的博客
01-19 275
用fs.copyToLocalFile( hdfsPath,localPath);下载hdfs的文件会报NullPointerException,具体报错为: java.lang.NullPointerException at java.lang.ProcessBuilder.start(ProcessBuilder.java:1012) at org.apache.ha...
java.lang.NullPointerException at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.init
freeRoad
12-29 3211
最近在使用Hbase MultitableInputFormat多表输入时发生下面错误： Unable to initialize MapOutputCollector org.apache.hadoop.mapred.MapTask$MapOutputBuffer java.lang.NullPointerException at org.apache.hadoop.mapred.M
hdfs下载文件时出现Exception in thread "main" java.lang.NullPointerException
LuciferCode的博客
10-06 2935
一.从hdfs文件系统下载文件到本地文件系统时Java代码。 点击(此处)折叠或打开 import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;public cl
Hadoop fs.copyToLocalFile错误
雪泪寒的博客
12-28 1829
log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell). log4j:WARN Please initialize the log4j system properly. log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noc
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值