Java查看hadoop文件报错误

最新推荐文章于 2022-01-06 14:39:46 发布
最新推荐文章于 2022-01-06 14:39:46 发布
阅读量308 收藏
点赞数
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/intelligebce/article/details/82421531
版权

一、错误一：No FileSystem for scheme: hdfs

解决办法：在conf后面添加下方代码

conf.set("fs.hdfs.impl",org.apache.hadoop.hdfs.DistributedFileSystem.class.getName());

错误二：org.apache.hadoop.hdfs.DistributedFileSystem导不进来

解决办法：

  • 查找所在的包：Ctrl + Shift + T 在弹窗中输入查看的内容，找到本地仓库中的坐标或者直接到maven仓库中查找即可
  • 编辑pom.xml即可

 

Intelligebce
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java接口操作Hadoop文件（增删改查）
不言尘世
12-06 541
1 创建文件 private static String uri = "hdfs://192.168.174.130:8020/"; // hdfs 地址 private static String local = "C:/Users/Administrator/Desktop/333.txt"; // 本地路径 private static String local1 = "C:/Users...
hadoop java api下载文件_hadoop学习遇到的错误4 JAVA操作HDFS下载文件
weixin_34687748的博客
02-15 286
使用java API操作HDFS，老师说只要掌握了FileSystem这个类就OK(的确，翻了源码，这个类里面的内容还真不少)。下面写上JAVA操作的代码：```javapackage HDFS;import java.io.File;import java.io.FileOutputStream;import java.io.InputStream;import java.net.URI;imp...
hadoop系列之六hadoop hdfs操作javaAPI错误记录
程序人生
06-18 427
hadoop,异常
执行Hadoop version时报错Error: Could not find or load main class org.apache.hadoop.util.VersionInfo
陈十一
01-06 868
当查看Hadoop版本时报错： 可添加如下配置(vim~/.bashrc)： export HADOOP_CLASSPATH=$(cygpath -pw $(hadoop classpath)):$HADOOP_CLASSPATH
Hadoop2.7.3客户端之Java API查看当前文件详情
若兰幽竹
03-17 540
Hadoop2.7.3客户端之Java API查看当前文件详情 在Idea或eclipse中创建maven项目 在pom.xml中添加hadoop依赖（参考前面博文） 编写测试代码，代码如下：/** * 查看文件的详情 * 思路： * 1、配置信息Configuration * 2、FileSystem * 3、拿到文件，调用fileSystem提供的获取文件信息的方法listFiles * 4、关闭系统资源 */ public static void listFiles() throws IOExcep
Java API操作Hadoop文件
04-08
NULL 博文链接：https://anna66.iteye.com/blog/1605502
Hadoop报错
留点心意的博客
08-21 411
报错一 指定hadoop临时目录--> hadoop.tmp.dir /usr/local/software/hadoop/tmp 备注：如没有配置hadoop.tmp.dir参数，此时系统默认的临时目录为：/tmp/hadoo-hadoop。而这个目录在每次重启后都会被干掉，必须重新执行format才行，否则会出错。
java操作hadoop_Hadoop学习笔记（三）：java操作Hadoop
weixin_31052141的博客
02-12 2555
1.启动hadoop服务。2.hadoop默认将数据存储带/tmp目录下，如下图：由于/tmp是linux的临时目录，linux会不定时的对该目录进行清除，因此hadoop可能就会出现意外情况。下面对这个配置进行修改。修改core-site.xml文件vim /usr/local/hadoop/etc/hadoop/core-site.xml将这个值修改到/var/hadoop目录下3.修改...
不同Hadoop版本winutils文件包
05-04
标题中的“不同Hadoop版本winutils文件包”指的是在Windows环境下使用Hadoop时，需要的一个关键组件——winutils.exe。这个文件是Hadoop为了解决Windows操作系统与Hadoop的兼容性问题而提供的，因为Hadoop原本是设计...
FileSmartHadoop文件上传下载-实现基于文件内容查询文件
12-13
FileSmartHadoop文件上传下载-实现基于文件内容查询文件。使用MySQL、Hadoop技术。
java集成hadoop-hbase用到的jar包
01-19
在Java集成Hadoop-HBase的过程中，使用正确的jar包是至关重要的。Hadoop是一个分布式存储和计算框架，而HBase是一个构建在Hadoop之上的非关系型数据库（NoSQL），特别适合处理大规模数据。这里我们将详细探讨Java...
hadoop java jar包_编写hadoop程序并打成jar包上传到hadoop集群运行
weixin_39868034的博客
02-13 1628
准备工作：1.hadoop集群(我用的是hadoop-2.7.3版本)，这里hadoop有两种：1是编译好的hadoop-2.7.3；2是源代码hadoop-2.7.3-src；2. 自己的机器可以是任何系统，只要支持JVM，自己的主机上必须有eclipse，以及hadoop-2.7.3和hadoop-2.7.3-src。(我用的是windows系统，为了方便Linux系统传输数据，我选用了Fi...
java hadoop hdfs文件_Hadoop（八）Java程序访问HDFS集群中数据块与查看文件系统
weixin_28679635的博客
02-13 354
前言我们知道HDFS集群中，所有的文件都是存放在DN的数据块中的。那我们该怎么去查看数据块的相关属性的呢？这就是我今天分享的内容了一、HDFS中数据块概述1.1、HDFS集群中数据块存放位置我们知道hadoop集群遵循的是主/从的架构，namenode很多时候都不作为文件的读写操作，只负责任务的调度和掌握数据块在哪些datanode的分布，保存的是一些数据结构，是namespace或者类似索引之类...
Hadoop java实现读取hdfs文件
Agly_Charlie的博客
02-19 7896
java实现读取hadoop的hdfs文件ubuntu14.04 下 hadoop 的安装和eclipse配置hadoop的文档参考： 安装hadoop http://www.powerxing.com/install-hadoop/ 安装eclipse配置hadoop http://www.powerxing.com/hadoop-build-project-using-eclipse
Datax MySQL2Hive抽数ClassCastException: java.lang.String cannot be cast to java.lang.Integer问题解决
欲望以提升热忱 毅力以磨平高山
04-10 2756
1、现象 com.alibaba.datax.common.exception.DataXException: Code:[HdfsWriter-04], Description:[您配置的文件在写入时出现IO异常.]. - java.lang.ClassCastException: java.lang.String cannot be cast to java.lang.Integer at ...
Hadoop-2.7.3常见问题解决
SCGH_Fx的专栏
05-18 7579
问题1： 提示如下信息： Java HotSpot(TM) Client VM warning: You have loaded library /usr/local/hadoop/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack g
Hadoop：HDFS基础编程
Yummy的博客
04-08 497
目录 具体流程： 1.在Linux中安装Eclipse 2.创建Eclipse项目 3.编写java程序 4.启动Hadoop 5.执行Eclispse中的HDFSFileIfExist.java文件 6.将java工程带出成jar包，直接通过终端命令执行 7.关闭Hadoop 具体流程： 1.在Linux中安装Eclipse 请查阅：Hadoop：Linux中安装Eclipse 2.创建Eclipse项目 （1）启动Eclipse，系统默认工作空间是“/home/hadoop..
04.JavaIO流问题
weixin_33995481的博客
12-24 350
目录介绍 4.0.0.1 说一下Java IO里面的常见类，字节流，字符流、接口、实现类、方法阻塞？ 4.0.0.2 什么是比特(Bit),什么是字节(Byte),什么是字符(Char),它们长度是多少,各有什么区别？ 4.0.0.3 字符流和字节流有什么区别？如何选择字节流或者字符流？什么是缓冲区，有什么作用？ 4.0.0.4 IO流中用到哪些模式？谈一谈IO流中用到的适配器模式和装饰者模式的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值