Hadoop/HDFS
Ethan_pika
一个爱养花的程序员
展开
-
CentOS6.4环境下Hadoop单机伪分布式配置
准备工作完成Linux Master主机中SSH无密码登录配置,详情见:[Linux] CentOS6.4配置SSH无密码登录完成Hadoop安装文件的解压工作,hadoop-2.6.4所在目录:/usr/hadoop/hadoop-2.6.4。hadoop的安装配置详情见:CentOS6.4环境下Hadoop单机+集群的安装和配置的前半部分(Linux单机环境中Hadoop的安装与配置...原创 2019-11-14 12:28:21 · 145 阅读 · 0 评论 -
CentOS6.4环境下Hadoop单机+集群的安装和配置
准备工作系统安装环境:Linux CentOS 32bit系统。两台相同环境的Liunx虚拟机,Master IP:192.168.15.129,Slave IP:192.168.15.131。在进行单机上的Hadoop安装配置时,使用Master主机。两台主机中都配置完成了SSH无密码登录,以满足配置Hadoop集群时的要求。Linux系统环境下配置SSH无密码登录,详见:Cent...原创 2019-11-11 13:05:45 · 272 阅读 · 0 评论 -
Heron Cluster add New Slave Node–Additional Content
HDFS出现问题:加入新的工作节点之后,hdfs直接使用可能会出现异常情况。解决方法:对hdfs进行重新格式化,并删除之前tmp目录下的临时文件,重新启动HDFS集群。...原创 2019-11-06 11:55:47 · 198 阅读 · 0 评论 -
解决Hadoop Safe Mode的问题
Heron提交时出现如下问题:解决:yitian@heron01:~/hadoop/hadoop-2.7.4$ bin/hadoop dfsadmin -safemode leaveDEPRECATED: Use of this script to execute hdfs command is deprecated.Instead use the hdfs command fo...原创 2019-11-06 11:50:05 · 1226 阅读 · 0 评论 -
HDFS在Heron集群中的配置和使用
系统环境Heron集群可以使用HDFS作为其分布式共享存储的组件,这里仍使用三个HDFS节点进行配置。前提:各个主机中/etc/hostname和/etc/hosts文件中已经配置好对应主机名称和IP信息。heron01: IP heron02: IPheron03: IP说明:该文章为Heron高可用集群配置的一部分内容,因此集群环境沿用集群配置中的内容。 HDFS的安装...原创 2019-01-30 16:21:24 · 276 阅读 · 2 评论