![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
wskuge
..
展开
-
Hadoop群集部署
具体配置步骤请参照:HADOOP集群部署手册。【转载】针对该手册,有以下几点要补充:1 在hdfs-site.xml的配置文件中指定的路径,需要提前在系统中创建好。 如果使用已经存在的文件路径,则需要确保该文件夹下没有任何文件。如果需要重新格式化,也需要注意将master,slave的相关目录清空。否则格式化会出错。2 在最后执行namenode 格式化操作时,原文件命令...原创 2018-09-04 12:24:23 · 168 阅读 · 0 评论 -
执行mapreduce任务时提示连接被拒绝
错误信息如下图所示:网上搜索,说是因为没有配置job history相关配置造成的。在mapred-site.xml文件中添加如下 配置:(sjfx需要改为自己的机器名)<property> <name>mapreduce.jobhistory.address</name> <value>sj...转载 2018-09-04 11:34:02 · 3351 阅读 · 1 评论 -
HADOOP、HBASE版本匹配问题
在实际搭建过程中,使用过很多个不同的版本。各版本之间的兼容性最初并未纳入考虑范围。直到遇到一些莫名其妙的问题。现将相关软件版本要求摘录如下,供参考。一、HBASE各版本与JAVA和版本匹配情况HBase Version JDK 7 JDK 8 JDK 9 JDK 10 2.0 Not Supported y...原创 2018-09-05 10:15:25 · 5091 阅读 · 0 评论 -
HBASE配置完成后,启动出错的问题
按照常规的HBASE部署方式配置好后。使用start-hbase.sh启动时,通过JPS命令查看各项进程似乎已经正常启动。但在logs目录下的log文件中记录有相当多的异常信息。下图即为其中一部分。通过错误信息看,应该是zookeeper的问题。连接被拒绝,估计是节点的zookeeper未启动造成的。在网上找了很多方法都没能解决。后来想起,在配置HBASE时,默认使用hbase自带的z...原创 2018-09-05 14:00:42 · 3499 阅读 · 0 评论