hadoop的java的APi使用的一些错误问题汇总

原创 2018年04月17日 19:55:51

错误一:

Exception in thread "main" java.io.IOException: No FileSystem for scheme: hdfs

原因是:缺少hadoop-hdfs的依赖包

Exception in thread "main" java.io.IOException: No FileSystem for scheme: hdfs
        at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2676)
        at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2690)
        at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:94)
        at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2733)
        at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2715)
        at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:382)
        at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:181)

错误二:

Permission denied: user=administrator, access=WRITE, inode="/":root:supergroup:drwxr-xr-x

这里需要修改配置文件,hadoop/conf/hdfs-site.xml(cdh版本在etc/hadoop/conf)中加入

<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/shursulei/article/details/79979803

Hadoop REST API -- WebHDFS(上)

介绍     Hadoop提供了一个Java native API来支持对文件系统进行创建,重命名,删除文件或者目录,打开读取或者写文件,设置文件权限等操作。这对于运行在hadoop集群中的应用程序来...
  • GreatElite
  • GreatElite
  • 2014-02-25 00:11:09
  • 5470

hadoop学习之HDFS(2.8):hdfs的javaAPI使用及示例

安装好hadoop后,可以在命令行启动客户端,通过命令行来操作hdfs,如: $ bin/hadoop fs -ls / //查看根目录下的内容$ bin/hadoop fs -mkdir...
  • qq_32166627
  • qq_32166627
  • 2016-11-23 11:48:10
  • 2065

Hadoop-利用java API操作HDFS文件

这段时间学习了python和hadoop,主要用于数据处理方面,因此打算写几篇这方面的博客。不过不是我的原创,我也是利用前辈的工作展示给大家。把自己学到的东西,也是比较初级的东西展示给需要的同学。 ...
  • u010156024
  • u010156024
  • 2015-11-30 16:28:29
  • 13504

Java API操作HA方式下的Hadoop

https://my.oschina.net/nivalsoul/blog/760113这篇文章介绍的就挺好
  • u012307002
  • u012307002
  • 2017-01-05 16:40:45
  • 887

使用Hadoop的Java API操作HDFS

本文介绍Java API访问HDFS,实现文件的读写,文件系统的操作等。开发环境为eclipse,开发时所依赖的jar包,可在Hadoop安装目录下找到。Demopackage com.test.hd...
  • cjf_wei
  • cjf_wei
  • 2017-08-13 11:14:49
  • 402

hadoop学习笔记--5.HDFS的java api接口访问

hadoop学习笔记--5.HDFS的java api接口访问 一:几个常用类介绍    (1):configuration类:此类封装了客户端或服务器的配置,通过配置文件来读取类路径实现(一...
  • liuzebin9
  • liuzebin9
  • 2017-04-14 20:53:29
  • 1865

使用Hadoop的JAVA API远程访问HDFS

之前分别介绍了使用Hadoop的C API操作HDFS和使用Hadoop的Java API操作HDFS,在介绍Java访问方式时(C API不存在这样的问题),程序是部署在Hadoop安装环境的,这具...
  • cjf_wei
  • cjf_wei
  • 2018-02-10 10:40:58
  • 182

hadoop - hadoop2.6 伪分布式 - Java API 操作 HDFS

1.环境    hadoop 2.6     hdfs 地址 : hdfs://localhost:9000   开发环境 : eclipse   新建Map/Reduce 工程 2...
  • LABLENET
  • LABLENET
  • 2016-01-22 21:17:46
  • 907

Linux下Hadoop hdfs Java API使用

0 前言 搞了大约2天时间终于把Linux下面Java API的使用给弄清楚了。做个笔记方便以后参考。环境如下所示 Hadoop:2.5.1 Linux:Ubuntu kylin eclipse:...
  • gcangle
  • gcangle
  • 2014-12-07 14:50:13
  • 6409

Java调用Hadoop HDFS API编程

源码的下载地址:http://www.packtpub.com/code_download/11101
  • gaotong2055
  • gaotong2055
  • 2014-07-04 13:23:59
  • 2102
收藏助手
不良信息举报
您举报文章:hadoop的java的APi使用的一些错误问题汇总
举报原因:
原因补充:

(最多只允许输入30个字)