解决 调用copyFromLocalFile方法 java.io.FileNotFoundException File /xxx/xxx.txt does not exist.

最新推荐文章于 2024-05-26 10:10:08 发布
最新推荐文章于 2024-05-26 10:10:08 发布
阅读量2.9k 收藏
点赞数 1
分类专栏： 大数据
原文链接：https://blog.csdn.net/qq_21277357/article/details/100857302
版权

因为我用的是windows机器连接linux 所以上传路径(src)要改成windows的路径

Path src=new Path("D:\\weixin\\b.txt");
Path dst=new Path("/hdfsapi/test/");
fileSystem.copyFromLocalFile(src,st);
我是一只代码狗
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
idea 远程使用hdfs copyFromLocalFile api上传文件 org.apache.hadoop.ipc.RemoteException(java.io.IOException)
TomasWenShua的博客
03-03 734
我在台式机上启动了三台虚拟机配置了一个的Hadoop3.1.3集群，并进行文件操作 A.namenode机上用hadoop shell 上传LICENSE.txt B.同一台电脑Windows操作系统下用idea通过hdfs copyFromLocalFile API上传HDFSClient.java C. 以及同一局域网另一台笔记本电脑上用idea上传 txt文件 得到以下结果： A和B上传成功并且没有报错，但是B操作只产生了两个文件副本，而我hdfs配置的是3个 C操作失败，得到 RemoteExc
hadoop上传文件共5页.pdf.zip
11-21
例如，通过 FileSystem对象的copyFromLocalFile方法进行文件上传。 5. **WebHDFS**：Hadoop还支持通过HTTP协议访问HDFS，这使得可以通过Web接口上传文件。这对于非Java应用或者需要通过Web界面操作的情况非常有用。...
windows开发环境运行正常，打包jar到linux系统出现，java.io.FileNotFoundException: xxx.jar! xxx.txt （没有文件或目录）
u010865811的博客
07-16 1846
解决： 1.利用流的方式读取文件 ImputStream inputStream2 = this.getClass.getClassLoader.getResourceAsStream(“dict/xxx.txt”) BufferedReader reader2 = new BufferedReader(new InputStreamReader(inputStream2,"UTF-8")) ...
深入浅出：文件操作的五大利器——Hadoop中文件管理方法
最新发布
2302_80057307的博客
05-26 764
Hadoop文件创建目录，下载文件，上传文件，更改文件名，删除文件
复制文件夹至IDEA报错java.io.FileNotFoundException
jianchihubo的博客
05-30 1096
有时候使用代码生成器复制文件夹至idea中,会报错 java.io.FileNotFoundException: 'D:\\xxxx.js' does not exist 我这边用的是win10操作系统,原因是这个文件夹是执行过删除旧代码生成的新的代码; 执行清除回收站后就可以了 原因嘛,我猜测的,文件系统删除文件后并不会真正的删除文件,只是标记已删除放入了垃圾回收站,以方便恢复误删除的文件.复制文件夹的时候会把所有上级目录指向该目录的子文件都找到,并没有过滤是否已删除的标志,然后真的去拿文.
hadoop copyFromLocal出错
学习 探索 求生
04-26 752
按照 http://blog.csdn.net/Angelababy_huan/article/details/52179727  配置好后 修改core-site.xml，将local改成master <configuration> <property>   <name>hadoop.tmp.dir</name>   <va...
利用 hadoop 的 FileSystem copyFromLocalFile 方法实现文件上传HDFS中 Hadoop 版本 2.7.0
点点滴滴 的博客
06-27 3862
利用 hadoop 的 FileSystem copyFromLocalFile 方法实现文件上传HDFS中 Hadoop 版本 2.7.0 另外说明： 远程调用机器 需要 liunx 修改 /etc/hosts 添加 10.11.12.4 master
hdfs.zip_hdfs_hdfs java
09-20
在分布式存储领域，Hadoop Distributed File System（HDFS）是一个被广泛使用的开源文件系统，它设计用于处理大规模数据集。本教程将详细讲解如何使用Java语言与HDFS进行交互，包括将本地文件上传到HDFS以及从HDFS...
hadoopexample.rar_Java编程_Java_
08-11
3. **MonteCarlo计算**：`MonteCarlo.java` 文件展示如何使用Hadoop进行蒙特卡洛模拟，这是一种统计计算方法，常用于解决那些在理论上难以求解但可以通过随机抽样进行估算的问题。在Hadoop中，可以利用并行计算能力...
Javaapi操作HDFS综合练习.pdf
07-11
在Java API操作HDFS（Hadoop Distributed File System）的过程中，主要涉及了以下几个核心知识点： 1. **依赖管理**： 在进行HDFS操作时，首先需要在项目中引入Apache Hadoop的相关依赖。在Maven项目中，这通常...
HDFS架构介绍及JAVA的API使用.pdf
10-02
1. **上传文件**：通过`FileSystem.copyFromLocalFile()`方法，将本地文件上传至HDFS。 2. **创建文件**：使用`FileSystem.create()`方法在HDFS上创建新文件。 3. **重命名文件**：利用`FileSystem.rename()`方法，...
关于spark入门报错 java.io.FileNotFoundException: File file:/home/dummy/spark_log/file1.txt does not exist...
weixin_30426879的博客
11-22 2237
不想看废话的可以直接拉到最底看总结 废话开始： master： master主机存在文件，却报 执行spark-shell语句： ./spark-shell --master spark://master:7077 --executor-memory 1G --total-executor-cores 2 报错：WARN TaskSetManager: Lost task 1...
关于Java 程序读取Window文件读取不到的问题
拿着键盘当钢琴的博客
04-26 2739
今天在写java程序的时候遇到一个奇怪的问题，当我用程序去读取某文件时，程序不断提示文件不存在，并抛出Exception in thread "main" java.io.FileNotFoundException （文件不存在）异常。当我在控制台打印文件路径和文件名，和实际文件是一模一样的。也就是说我的文件实际是存在的。这个问题困扰了我很久，都找不到原因直到我把文件名打印到一个propertie...
使用Ant编译出现如下问题 java.io.FileNotFoundException: bin\classes.dex
不只是写代码的程序员
10-12 3198
Hello,  Ok, so far I have this script:  =================  cmd  SET PATH=C:\Programas\android-sdk\tools;C:\Programas\android-sdk\platform-tools\;C:\Progra~1\Java\jdk1.6.0_20\bin  mkdir bi
Windows系统下javac找不到文件
每天进步一点点，不要逃避
03-25 3333
1.问题描述： 已知jdk安装和Java环境变量的配置都正确。 在“此电脑”上的某盘符的目录下，查看要运行的文本文的后缀为.java。但是在命令提示符处输入编译命令报错：javac:找不到文件 2.出现原因： 当前系统隐藏了文件的默认后缀。 在命令控制符处，切换到该文本文件的目录下后，输入命令：dir，就会看到该文本文件隐藏的后缀。 3.解决办法： 查看文件扩展名，选择并删除该文本文件之前被隐藏了的文件后缀，保证要编译的文本文件的结尾后缀必须是**.java**。 ...
fileSystem.copyFromLocalFile和 IOUtils.copyBytes区别
lovely_J的博客
09-05 2997
转自：https://blog.csdn.net/a822631129/article/details/45914899 之前上传下载hdfs文件都是使用的IOUtils.copyBytes(…)，不过也看见过别的方式FileSystem.copyFromLocalFile(boolean delSrc, boolean overwrite, Path[] srcs, Path dst)等通过F...
本地使用scp上传集群文件或文件夹报错：No such file or directory
v-space的博客
03-26 1338
解决方法： 本地文件或文件夹要使用绝对路径
FileSystem使用
Y521316的博客
05-10 436
FileSystem使用
filesystem java_java-HDFS 利用 fileSystem API实现对文件的操作
weixin_28975553的博客
02-16 351
1 HDFSfile.java2 /************************************************************3 Copyright(C),1988-1999,HuaweiTech.Co.,Ltd.4 FileName:HDFSfile.java5 Author:Light6 Version:version1.07 Date:20...
使用HDFS api操作将briup.txt上传 到/user/briup/test2目录
05-29
假设你已经配置好了Hadoop的环境变量，并且启动了Hadoop集群。可以使用以下Java代码将本地文件briup.txt上传到HDFS的/user/briup/test2目录： ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; public class HDFSUploadFile { public static void main(String[] args) throws IOException, URISyntaxException { // 创建Configuration对象，用于加载Hadoop配置文件 Configuration conf = new Configuration(); // 指定HDFS的地址 URI uri = new URI("hdfs://localhost:9000"); // 创建FileSystem对象，用于操作HDFS FileSystem fs = FileSystem.get(uri, conf); // 指定本地文件路径和HDFS文件路径 Path localPath = new Path("briup.txt"); Path hdfsPath = new Path("/user/briup/test2/briup.txt"); // 使用FileSystem对象将本地文件上传到HDFS fs.copyFromLocalFile(localPath, hdfsPath); // 关闭FileSystem对象 fs.close(); System.out.println("文件上传成功！"); } } ``` 需要注意的是，上述代码中的HDFS地址是本地单机模式下的地址，如果你的Hadoop集群是分布式的，需要将HDFS地址改为集群中的地址。同时，如果/user/briup/test2目录不存在，需要先使用HDFS的Shell命令或Java API创建该目录。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值