javaAPI操作hdfs文件系统环境准备

最新推荐文章于 2022-05-28 22:18:31 发布
最新推荐文章于 2022-05-28 22:18:31 发布
阅读量863 收藏 2
点赞数
分类专栏： hadoop 文章标签： hadoop JavaAPI java.lang.NullPointe at java.lang.Process at org.apache.hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/freefish_yzx/article/details/76474648
版权
本文档介绍了使用Java API操作HDFS文件系统时遇到的问题及解决方案，包括环境配置、代码实现、权限问题等。在配置Hadoop文件系统地址后，发现执行成功但文件未上传至HDFS，进一步排查发现用户名不能为Administrator。
摘要由CSDN通过智能技术生成

解决javaAPI操作hdfs文件系统问题

解决正常运行hadoop hdfs javaAPI 
java.lang.NullPointerException
at java.lang.ProcessBuilder.start(ProcessBuilder.java:1012)

at org.apache.hadoop.util.Shell.runCommand(Shell.java:482)

at org.apache.hadoop.util.Shell.run(Shell.java:455)
at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:715)
at org.apache.hadoop.util.Shell.execCommand(Shell.java:808)
at org.apache.hadoop.util.Shell.execCommand(Shell.java:791)
at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:659)
at org.apache.hadoop.fs.FilterFileSystem.setPermission(FilterFileSystem.java:490)
at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:462)
at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:428)
at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:908)
at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:889)
at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:786)
at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:365)
at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:338)
at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:289)
at org.apache.hadoop.fs.LocalFileSystem.copyFromLocalFile(LocalFileSystem.java:82)
at org.apache.hadoop.fs.FileSystem.copyFromLocalFile(FileSystem.java:1838)
at cn.yzx.bigdata.hdfs.HdfsClientDemo.testUpload(HdfsClien
最低0.47元/天 解锁文章
freefish_yzx
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop | HDFS 学习笔记（二）HDFS Java API 环境搭建 | Java操作HDFS文件系统 | 多案例
希望每天都能进步一点点
01-17 3383
文章目录参考资料运行环境一、准备 HDFS Java API 环境1.1 在windows系统中准备Hadoop环境1.2 使本机连接集群节点1.2.1 域名映射1.2.2 路由转发1.3 使用 IDEA 创建 Maven 项目二、HDFS Java API 操作案例2.1 创建文件夹2.2 上传文件2.3 下载文件2.4 删除文件2.5 文件的更名和移动2.6 获取HDFS文件信息2.7 文件与文件夹的判断2.8 HDFS - API 配置参数优先级问题2.8.1 通过配置文件2.8.2 通过Config
使用Java API操作HDFS分布式文件系统
最新发布
04-11
本文将深入探讨如何使用Java API来操作HDFS。 1. **HDFS基本概念** - **NameNode**：HDFS的主节点，负责管理文件系统的命名空间和元数据，如文件名、文件块信息等。 - **DataNode**：存储实际数据的从节点，执行...
使用Java API操作HDFS文件系统
weixin_46235157的博客
03-19 921
使用Java API操作HDFS文件系统 关键点： 1）创建Configuration 2）获取FileSystem 3）…就是你的HDFS API的操作 首先创建FileSystem 构造一个访问指定HDFS系统的客户端对象 第一个参数：HDFS的URI 第二个参数：客户端指定的配置参数 第三个参数：客户端的身份，说白了就是用户名 FileSystemfi...
Java API 操作 HDFS 文件系统
QQ_1993445592的博客
10-16 224
特别提示 执行前需要启动 hadoop IDEA创建Hadoop-Maven项目 下载 hadoop.dll 放入windows的C:\Windows\System32下 相关环境 windows10 hadoop 2.9.2 伪分布式搭建 idea 2018.3.5 0x00 JAVA 连接 HDFS 配置连接 public static final String HDF...
用API实现对HDFS的操作（1）Hadoop集群的HDFS客户端环境准备
zytmaster的博客
03-01 408
jar包准备： 1.解压 hadoop-2.7.6.tar.gz 到非中文目录 2.进入 share 文件夹，查找所有 jar 包，并把 jar 包拷贝到_lib 文件夹(新建的，可与解压出的hadoop-2.7.6.tar.gz放到同一个文件夹下，方便管理）下 3.在全部 jar 包中查找 sources.jar，并剪切到_source 文件夹(新建的，可与解压出的...
HDFS系列(5) | 进行API操作前的准备
不温卜火
04-24 3606
本篇博文给大家介绍的是进行JavaAPI操作前的准备工作 目录一. 电脑安装配置Hadoop1. 将下载的jar包放到非中文路径2. 配置HADOOP_HOME环境变量3. 配置Path环境变量4. 测试是否成功二. maven1. 此步可省略，一般用自带的即可2. 创建一个Maven工程三. 创建包和类1. 创建2. 输入测试代码 个人可根据自己电脑的操作系统下载对应的hadoop.jar...
使用Java Api操作HDFS过程详解
08-25
Java 应用程序接口（API）是 Java 语言提供的一组编程接口，用于访问和操作 Hadoop 分布式文件系统（HDFS）。本文将详细介绍使用 Java API 操作 HDFS 的过程，并提供了一个示例代码，展示如何使用 Java API 读取和...
大数据技术基础实验报告-调用Java API实现HDFS操作.doc
08-21
本实验主要涵盖了大数据技术的基础，特别是如何在Linux环境下利用Java API对Hadoop分布式文件系统（HDFS）进行操作。实验涉及的主要步骤包括Eclipse的安装、Java项目的创建以及所需JAR包的添加。 首先，Eclipse是...
Java API操作HDFS示例代码.rar
08-04
Windows下配置Hadoop的Java开发环境以及用Java API操作HDFS: https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/119379055
HDFS两种操作方式：命令行和Java API
01-07
本节将介绍 Linux 操作系统中关于 HDFS 文件操作的常用命令行，并将介绍利用 Hadoop 提供的 Java API 进行基本的文件操作，以及利用 Web 界面查看和管理 HDFS 的方法。 HDFS 常用命令 在 Linux 命令行终端，可以...
Hadoop学习笔记（一）：HDFS分布式文件系统(从环境搭建到Java API)-附件资源
03-02
Hadoop学习笔记（一）：HDFS分布式文件系统(从环境搭建到Java API)-附件资源
大数据(hadoop-HDFS的本地开发环境的配置与常见的HDFS的JAVA API)
weixin_33691817的博客
04-22 442
2019独角兽企业重金招聘Python工程师标准>>> ...
HDFS常用java api整理及使用示例
zhuge134的博客
03-09 1449
主要是一些文件系统的常用操作，包括增删文件及文件夹，读写操作，查看操作等。一：几个常用类介绍   （1）：configuration类：此类封装了客户端或服务器的配置，通过配置文件来读取类路径实现（一般是core-site.xml）。（2）：FileSystem类：一个通用的文件系统api，用该对象的一些方法来对文件进行操作。FileSystem fs = FileSystem.get(conf)...
HDFS的Java API操作本地环境搭建
鲍礼彬的CSDN博客 ~_~
02-17 2490
HDFS的Java API操作本地环境搭建     1、创建一个Java project 项目：   2、导入jar包： 把Hadoop根目录下的 JAR包和lib下的JAR包导进去：     3、修改本地 hosts 文件：   在里面加入 虚拟机的IP地址和主机名：     不用FileSystem连接，用URL连接一下看看是否可以连通：
基于JavaAPI对HDFS的常用操作
滴水穿石的博客
10-16 207
一、准备阶段 ①在Windows系统上配置Hadoop的环境变量 在path中添加%HADOOP_HOME%\bin ②修改用户名为root，确保对文件(文件夹)操作时有足够的权限 HADOOP_USER_NAME root ③导入jar包，并且将core-site.xml和hdfs-site.xml文件放到src下 二、基于API对HDFS的常用操作 package com.hpe.wang...
Hadoop错误汇总
blue_jjw的专栏
12-14 6710
1.ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /var/lib/hadoop-0.20/cache/hdfs/dfs/data: namenode namespaceID = 240012870; datanode names
07 - HDFS客户端环境准备、HDFS的API操作、HDFS的I/O流操作
花&败
05-28 542
客户端去操作HDFS时，是有一个用户身份的。默认情况下，HDFS客户端API会从JVM中获取一个参数来作为自己的用户身份：-DHADOOP_USER_NAME=kgf，kgf为用户名称。合并完成后，将hadoop-3.1.3.tar.gz.part1重新命名为hadoop-3.1.3.tar.gz。在Window命令窗口中进入到目录E:\，然后执行如下命令，对数据进行合并。将hdfs-site.xml拷贝到项目的根目录下。（1）客户端代码中设置的值 >（3）然后是服务器的默认配置。
HDFS常用的Java Api详解
bangci6459的博客
09-12 456
一、使用Hadoop URL读取数据 package hadoop; import java.io.InputStream; import java.net.URL; import org.apache.hadoop.fs.FsUrlStreamHandlerFactory; import org.apache.hadoop.io.IOUtils; publi...
hadoop复制文件java_hadoop – 将大文件复制到HDFS中
weixin_29671137的博客
02-27 613
我正在尝试将大文件(32 GB)复制到HDFS中.我从未在HDFS中复制文件时遇到任何麻烦,但这些都比较小.我正在使用hadoop fs -put< myfile> < myhdfsfile>并且高达13,7 GB一切顺利,但后来我得到了这个例外：hadoop fs -put * /data/unprocessed/Exception in thread "main" or...
hadoop使用java api操作hdfs
06-28
2. 创建一个FileSystem对象来操作HDFS文件系统 ```java FileSystem fs = FileSystem.get(conf); ``` 3. 创建一个Path对象，用于表示文件在HDFS中的路径 ```java Path path = new Path("/user/myuser/myfile.txt")...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值