(hbase开发 一) Failed to identify the fs of dir hdfs://linuxtbj:8020/hbase/lib, ignored java.io.IOExcep

最新推荐文章于 2024-07-01 15:05:34 发布
最新推荐文章于 2024-07-01 15:05:34 发布
阅读量5k 收藏 3
点赞数 2
分类专栏： hbase 文章标签： hbase hadoop java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yx_keith/article/details/78614965
版权

在使用 java api 开发hbase过程中，遇到了如下的警告：

WARN  [main] util.DynamicClassLoader: Failed to identify the fs of dir hdfs://hostname:8020/hbase/lib, ignored
java.io.IOException: No FileSystem for scheme: hdfs


查阅资料，需要在hadoop的core-site.xml中加入如下配置：

<property>
     <name>fs.hdfs.impl</name>
     <value>org.apache.hadoop.hdfs.DistributedFileSystem</value>
     <description>The FileSystem for hdfs: uris.</description>
</property>


然后问题得到解决，更加详细的解释，请看如下链接：

http://blog.csdn.net/yhao2014/article/details/45575325

逍锅锅_
关注
专栏目录
HBase实战（5）：Spark SQL+Hive +HBASE 使用Spark 操作分布式集群HBASE
段智华的博客
06-14 2914
HBase实战（5）：Spark SQL+Hive +HBASE 使用Spark 操作分布式集群HBASE1，基于spark 2.3.0 直接进入spark sql 客户端，提示出错，找不到“com.mysql.jdbc.Driver”root@master:/usr/local/spark-2.3.0-bin-hadoop2.6/bin# spark-sql SLF4J: Class path ...
【甘道夫】HBase开发环境搭建过程中可能遇到的异常：No FileSystem for scheme: hdfs
甘道夫的大数据进化论
07-03 7444
HBase开发环境搭建过程中可能遇到的异常：No FileSystem for scheme: hdfs
Hbase启动故障报错汇总（Master、Regionserver启动失败、hbase shell list报错）
weixin_43799404的博客
01-13 4782
最近自学大数据技术栈中，将自己遇到的问题记录一下，希望能帮到其他学习的人，另外希望自己复习的时候可以少踩些坑。 首先，需要牢记的一点是很多启动报错都是表面现象，是更深层的问题所导致的，所以一定要学会看日志，然后再根据日志报错信息去搜索解决问题。 下面将遇到的启动遇到的错误的先列出来 这里写目录标题Hmaster启动后，一会自动消失ERROR:org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running ye.
eclipse中java.io.IOException: No FileSystem for scheme: hdfs的解决
最新发布
winter2041的博客
07-01 335
因为这个core-default.xml在eclipse中通过jar包库调用时，调用的不是这里的这个，而是hadoop-common-x.jar里的core-default.xml。这个core-default.xml在hadoop-2.7.1\share\doc\hadoop\hadoop-project-dist\hadoop-common里。如果还会报错的话，检查一下Hadoop-hdfs-x.jar在不在，不在的话把它加入依赖。那么问题来了，为什么我加了这段语句还是没有用呢？
【异常】hbase启动后hdfs文件权限目录不一致，导致Phoenix无法删除表结构
weixin_30339969的博客
09-07 477
1 异常信息 Received error when attempting to archive files ([class org.apache.hadoop.hbase.backup.HFileArchiver$FileablePath, file:hdfs://hdp:9000/hbase/.tmp/data/WMBIGDATA/LAT_LNG_INDEX/310c6...
hbase常见错误汇总
邢宁
01-27 2320
1、报错信息 2014-02-24 12:15:48,507 WARN [Thread-2] util.DynamicClassLoader (DynamicClassLoader.java:<init>(106)) - Failed to identify the fs of dir hdfs://fulonghadoop/hbase/lib, ignored java.io.IOException: No FileSystem for scheme: hdfs 解决办法 在配置文件中加入
Hbase<踩过的坑--使用intellij idea调用JavaAPI创建预分区>
Gpwner的博客
05-17 4848
本集群 基于：VMware Workstation12 ProSecureCRT 7.3Xftp 5CentOS-7-x86_64-Everything-1611.isohadoop-2.8.0.tar.gzjdk-8u121-linux-x64.tar.gz下面是我在使用Intellij IDEA调用JavaAPI创建预分区的时候遇到的问题，写下来，备忘 1.Pom.xml <?xml ve
ERROR: KeeperErrorCode = NoNode for /hbase/master 问题
m0_65346688的博客
10-31 1255
ERROR: KeeperErrorCode = NoNode for /hbase/master 问题
ZOOKEEPER、HDFS、YARN、HBASE配置Kerberos认证
程序猿丶HLK
02-28 5150
注：在配置kerberos认证之前，必须先确保成功安装kerberos集群 安装教程：Centos7安装大数据安全认证组件Kerberos。 一、环境说明 环境说明 系统环境 集群节点分布 名称 版本 IP地址 ...
(hadoop运维 一)cloudera-scm-agent dead
yx_keith的博客
11-15 3006
CDH集群中的某个的cloudera-scm-agent当掉之后，sever节点就无法收到从节点的报告信息，此时cloudera manager界面就会有好多报红。重启cloudera-scm-agent服务如果报错cloudera-scm-agent dead but pid file exists, 那就 先ps -ef | grep cloudera-scm-agent，然后kill掉
HBase1.2.3版本常用配置参数说明
农村外出务工男的博客
01-24 3192
一、前言     主要针对HBase的1.2.3版本参照官网，对其常用配置参数进行翻译说明，供查阅。 二、配置参数说明   hbase.tmp.dir ${java.io.tmpdir}/hbase-${user.name} Temporary directory on the local filesystem. Change this setting to
案例：华为FusionInsight 大数据平台集成 atlas1.0.0 ,环境Centos7
u010235716的博客
03-20 1635
本案例在使用了编译好的atlas 版本号1.0.0 ，本文重在讲解如何集成；编译atlas，可以在其他博客中找一下 1.华为FusionInsight 大数据平台 自带的solr版本和atlas版本（1.0.0）存在不兼容的情况；我为了赶工期，没有特意深究，自己搭建了solr cloud 模式，博客可以参考:https://blog.csdn.net/u010235716/article/...
【甘道夫】HBase开发环境搭建过程中可能遇到的异常：No FileSystem for scheme: hdfs...
weixin_33910759的博客
01-08 222
异常： 2014-02-24 12:15:48,507 WARN  [Thread-2] util.DynamicClassLoader (DynamicClassLoader.java:&lt;init&gt;(106)) - Failed to identify the fs of dir hdfs://fulonghadoop/hbase/lib, ignored java.io...
HBASE 错误及解决办法
泰格数据
08-12 2485
java.io.IOException: Call to /192.168.2.6:9000 failed on local exception: java.io.IOException: Broken pipe hbase启动可能会出错导致失败， java.io.IOException: Call to /192.168.2.6:9000 failed on local except
HBase运维中遇到的问题
h952520296的博客
03-14 7981
在hbase服务级别core-site.xml文件中自定义hadoop.proxyuser.sxappopt.hosts=*,hadoop.proxyuser. sxappopt.groups=*两个参数，保存后重启hbase，修改这两个参数后可能会引起其他的一些组件之间的认证问题。另外提醒大家使用大数据集群的服务器就配上所有的节点。该问题的原因是从源集群复制过来的文件在目标集群上不存在，检查目标集群，可发现目标集群的NameNode上有出现未找到的文件，也就是说文件原来是存在的，但过程中又被删除了。
Hbase集群搭建初始化失败解决方案
qq_21768107的博客
10-30 737
2:将core-site.xml下的defualtdfs端口和hbase rootdiar对应的端口一致。3:退出shell ，重新进入hbase shell[有时候会造成粘带]4:hbase log日志用户主不是当前用户，所以导致没法读写。1:指定hbase数据缓冲目录，在hbase-sit.xml。5：安装目录权限问题。
Hbase报错： Master is initializing，解决
热门推荐
m0_54195430的博客
05-16 1万+
错误（Master is initializing）： 刚装好的hbase，启动服务后，进入hbase shell，准备创建一个表看看能不能正常运行，然后就出错了。 先是运行list，没有问题 在create创建表的时候报错了 hbase:003:0> create 'stu','info' ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing at org.apache
core-site.xml hdfs://master:8020 hbase-rootdir hdfs://master:9000/hbase 这两个配置是什么意思
03-05
这两个配置是 Hadoop 和 HBase 的配置文件中的参数，用于指定 Hadoop 文件系统的地址和 HBase 数据存储的根目录。其中，core-site.xml 中的 hdfs://master:802 表示 Hadoop 文件系统的地址为 master 节点的 802 端口，hbase-rootdir 中的 hdfs://master:900/hbase 则表示 HBase 数据存储的根目录为 Hadoop 文件系统中的 /hbase 目录。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值