Hadoop
猫不夜行
静水流深,物我两忘
展开
-
Hadoop源码编译(Hadoop-2.7.0-src)
编译Hadoop-2.7.0-srcHadoop 2.7.0源代码(https://hadoop.apache.org/release/2.7.0.html)源码中的BUILDING.txt文件环境要求:Build instructions for Hadoop----------------------------------------------------------------...原创 2020-01-14 15:53:28 · 1014 阅读 · 0 评论 -
Windows本地运行调试Spark或Hadoop程序失败ERROR util.Shell: Failed to locate the winutils binary in the hadoop...
报错内容ERROR util.Shell: Failed to locate the winutils binary in the hadoop binary pathjava.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.解决方法1. 下载wind...原创 2019-11-19 10:26:00 · 371 阅读 · 0 评论 -
Hadoop运行模式:本地模式、伪分布模式、完全分布模式
1、本地模式:默认模式 - 不对配置文件进行修改。 - 使用本地文件系统,而不是分布式文件系统。 - Hadoop不会启动NameNode、DataNode、ResourceManager、NodeManager等守护进程,Map()和Reduce()任务作为同一个进程的不同部分来执行的。 - 用于对MapReduce程序的逻辑进行调试,确保程序的正确。2、伪分布模式...原创 2019-07-19 13:44:00 · 696 阅读 · 0 评论 -
多次NameNode执行format后DataNode启动不了解决方案
1.问题执行start-dfs.sh后在进程中查看jps,发现NameNode启动,但DataNode没有2.原因在失败的.log文件中看到datanode的clusterID 和 namenode的clusterID 不一致原因可能是多次Hadoop namenode -format导致clusterID不一致3.解决方法1)先去hadoop路径下的配置文件hdfs-s...原创 2019-09-02 18:23:00 · 566 阅读 · 0 评论 -
NameNode格式化后HBase创建新表提示旧表已存在:table already exists
1.问题出现:在格式化NameNode后,集群上安装的OpenTSDB的表(存在hbase中)都没有了,重新运行OpenTSDB预创建表步骤报错显示table already exists2.原因:hadoop重新格式化后,hdfs上没有了数据,在hbase中新建表却提示Table already exists。是因为以前建过同名的表,虽然HDFS上和Hbase相关的东西都已经删除了...原创 2019-09-02 21:56:00 · 1015 阅读 · 0 评论