Hadoop
Miss_Bueno
这个作者很懒,什么都没留下…
展开
-
HDFS NFS数据挂载功能
目的:利用NFS,将HDFS底层文件共享到本地操作系统 本篇文章主要介绍HDFS 的NFS网关配置及配置之后读写性能问题,网上有比较多的参考资料,也都很有用。但我在配置过程中,遇到许多其他隐藏的坑,例如,首先我不知道NFS是什么,我就开始配,导致简单的配置出错我都弄了很久。为了让跟我一样的小伙伴们避免踩同样的坑,我从Linux NFS到HDFS NFS配置,再到配置好之后,数据读写性...原创 2019-12-12 10:51:17 · 2010 阅读 · 0 评论 -
Hadoop NFS启动失败
问题描述:启动Hadoop的NFS失败。查看日志:显示Failed to delete file or dir [/tmp/.hdfs-nfs]: it still exists.原因:说明当前用户对/tmp目录没有权限;解决方法:可以用root用户手动删除该目录;也可以对当前用户赋予对/tmp操作的权限。本人采用暴力方式,手动删除该/tmp/.hdfs-nfs目录,重新启动NFS,成...原创 2019-11-25 17:46:33 · 720 阅读 · 0 评论 -
HADOOP添加与删除节点
一、如何添加节点?大概配置思路:(转载于https://blog.csdn.net/czz1141979570/article/details/86712881)1、在新节点中进行操作系统的配置,包括主机名配置,防火墙,网络,免密登陆和安装JDK等2、在所有的节点的/etc/hosts文件中增加新节点3、把namenode的有关配置文件复制到该节点4、修改master节点的sl...原创 2019-07-04 10:41:58 · 823 阅读 · 0 评论 -
hadoop 集群移除节点,剩余节点空间不够怎么办?急
问题描述:对hadoop 集群移除节点,单次移除的节点太多,而集群已有数据量太大,导致移除节点后,容量不够。 集群一直显示Decommission in progress.等待了一天还是这样。 由于数据比较关键,怕丢失,不敢操作,网上查询没有相关的资料,最后不得已,强制恢复节点,重新加载配置,步骤如下:1. 查看文件状态,是否被损坏用./hdfs fsck / ...原创 2019-08-26 16:00:53 · 602 阅读 · 0 评论 -
三种恢复 HDFS 上删除文件的方法
本文转自两篇博文:过往记忆:https://www.iteblog.com/archives/2321.html?from=related https://www.cnblogs.com/cuishuai/p/8288976.html三种恢复 HDFS 上删除文件的方法我们每天都可能会操作 HDFS 上的文件,这就很难避免误操作,比如比较严重的误操作就是删除文件。本文针对这个问题提...转载 2019-09-21 11:32:37 · 738 阅读 · 0 评论 -
Hbase错误(二):ServerNotRunningYetException: Server is not running yet
前言:我用的是hbase2.1.0;Hadoop2.7.4;zookeeper3.4.10;分别对以上三个工具进行了容器化。好不容易解决完各种坑,将容器化的hbase运行起来,数据插着插着又出现各种问题,我的内心真的是崩溃的。一、首先出现的第一个问题描述如下:1. 用jps查看hbase、Hadoop、zookeeper相应服务,都正常运行;2. 登录网页也可看到hbase与Had...原创 2019-01-11 17:41:08 · 4324 阅读 · 1 评论 -
Hadoop-2.7.4启动datanode失败
Hadoop-2.7.4启动datanode失败,出现如下错误:WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/opt/hbase/temp/hadoop-root/dfs/data/出错原因:datanode数据目录中还有原来老版本、上次运行后...转载 2018-10-23 19:20:48 · 521 阅读 · 0 评论 -
Hadoop一:Hadoop的NodeManager启动错误,NodeManager from slavenode2 doesn‘t satisfy minimum allocations
启动hadoop,刚解决完datanode未成功启动问题,又出来新问题,在datanode上用jps看不到NodeManager进程;查看日志,出现错误如下:Recieved SHUTDOWN signal from Resourcemanager ,Registration of NodeManager failed, Message from ResourceManager: NodeM...原创 2018-10-23 19:30:32 · 1248 阅读 · 0 评论 -
error: KeeperErrorCode = NoNode for /hbase/master
错误2:搭建完集群之后,在hbase shell中查看表,出现error: KeeperErrorCode = NoNode for /hbase/master1. 查看日志,是因为zookeeper启动后又自动关闭了。为什么会出现这个问题呢?是因为原来是因为zoo.cfg里的data目录是配置在/tmp下的,这目录是会定时清空的,因此,需要更改该目录,我的设置为/usr/local/wo...原创 2018-10-29 16:02:35 · 26396 阅读 · 5 评论 -
hbase启动成功,进入hbase shell,list表出现zookeeper.znode.parent
启动hbase,出现HMaster和HRegionServer后台进程,进入hbase shell,执行表操作,出现error:zookeeper.znode.parent;查看日志,出现zookeeper连接失败,不存在的服务名或主机名;刚开始以为是hbase-site.xml属性文件配置错误,查看资料,将zookeeper.znode.parent的属性设置由默认的/hbase改为/hba...原创 2018-10-24 09:21:23 · 11230 阅读 · 0 评论 -
Hadoop三:hadoop运行错误3:yarn执行作业卡死
部署步骤一致,每次错误不一样;错误1: INFO org.apache.hadoop.yarn.server.resourcemanager.amlauncher.AMLauncher: Error launching appattempt_1541382172965_0001_000001. Got exception: java.net.UnknownHostException: I...原创 2018-11-06 09:38:05 · 1753 阅读 · 0 评论 -
Hadoop二:hadoop hbase与最新版本兼容性
总:HBase 2.0+ 最低需要Java 8和Hadoop 2.6,需要ZooKeeper 3.4.x。hbase官网给出的hbase与hadoop兼容表格如下:http://hbase.apache.org/book.html#standalone_dist "S" = supported "X" = not supported "NT" = Not tested ...原创 2018-11-07 16:44:59 · 5517 阅读 · 0 评论 -
Hadoop四:Container is running beyond memory limits
The NodeManager is killing your container. It sounds like you are trying to use hadoop streaming which is running as a child process of the map-reduce task. The NodeManager monitors the entire proce...转载 2018-11-08 10:14:10 · 224 阅读 · 0 评论 -
java.io.IOException:could not find my address:dn0-eth0 in list of zookeeper quorum servers
问题描述:zookeeper、hbase、hadoop都启动正常,也能正常写入数据,但是启动hbase的时候会出现提示信息,但是进入hbase shell 中创表及写入数据都正常:java.io.IOException:could not find my address:dn0-eth0 in list of zookeeper quorum servers。且停止hbase时,出现/...原创 2018-11-08 15:10:21 · 1687 阅读 · 0 评论 -
Hbase错误(一):Hbase 所有节点regionserver启动成功,Hmaster起不来
Hbase 所有节点regionserver启动成功,Hmaster起不来。查看日志,显示错误:failed on connection:connection refused;首先查看hbase 的配置文件hbase-site.xml,hbase.rootdir属性是否设置正确,路径主机与hadoop namenode主机节点一致,若不一致,则修改。若一致,则再寻找其他原因。若未解决,查看...原创 2018-11-23 16:02:51 · 1445 阅读 · 0 评论 -
启动zookeeper服务不成功,zkServer.sh status查看状态,显示not running。
在搭建hbase-hadoop-zookeeper集群的过程中,zookeeper总是起不来,遇到各种各样的问题,现在列出来做一个总结:错误1:启动zookeeper服务不成功用/usr/local/work/zookeeper-3.4.10/bin/zkServer.sh start开启zookeeper服务,显示STARTED,但是用zkServer.sh status查看状态,显示n...原创 2018-09-28 20:02:27 · 5354 阅读 · 0 评论