weixin_40814247的博客

下载hadoop镜像可以在github上自己手动构建hadoop镜像，也可以从dockerhup上下载，dockerhup上已经与该github项目建立起自动构建的关系。 docker-compose.yml文件中用到了以下5个docker镜像docker pull bde2020/hadoop-datanode:1.1.0-hadoop2.7.1-java8docker pull bd...

首先去官网下载好 jdk 以及Hadoop使用xshell 中xftp 传入对应的地方使用tar -zxvf hadoop-3.1.2.tar.gz来解压对应文件java解压好后 使用sudo vi /etc/profile添加内容export JAVA_HOME=/opt/java/jdk1.8.0_211/export JRE_HOME=/opt/java/jdk1.8.0_...

最近搭建Hadoop伪集群时 ，HDFS文件系统成功格式化，节点启动了，jps也有显示，但http://IP :50070就是访问不了。困扰很久发现问题仅仅出现在防火墙没有关闭。。。。。伪集群搭建采用的是CentOS 7.0，而CentOS7.0默认使用的是firewall作为防火墙，可以改为iptables。Firewall：systemctl start firewalld.servi...

之前不懂犯了个低级错误，导致datanode只能启动一个；很是奇怪；首先，之前多次将namenode格式化，导致namenode和datanode的clusterID不一致无法启动datanode注：clusterID在/usr/local/hadoop/hdfs/name/current目录下；解决方案：修改Shadoop1 和 Shadoop2 的data/current目录下的VERS...

$ hdfs dfs -ls hdfs://test:8020/hbasels: Operation category READ is not supported in state standby. Visit https://s.apache.org/sbnn-error意思是namenode不可用，查看namenode状态hdfs-site.xml <property>...