hadoop中HDFS 配置

1、解压hadoop包

tar -zxv hadoop.tar.gz -C /opt/moudle

2、删除不必要的文件

进入:/opt/modules/hadoop-2.5.0/share

删除 rm -rf ./doc/

进入：/opt/modules/hadoop-2.5.0/etc/hadoop

删除：rm -rf ./*.cmd （cmd文件是windows下的）

3、配置HDFS中JAVA_HOME

查看JAVA_HOME环境变量的路径

echo $JAVA_HOME

修改配置文件中的JAVA_HOME路径

hadoop-env.sh

mapred-env.sh

yarn-env.sh

4、配置核心网站的文件（core-site.xml、hdfs-site.xml）

查看(官网:https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation)

/opt/modules/hadoop-2.5.0/etc/hadoop/core-site.xml

<configuration> <property> <name> fs.defaultFS </ name> <value> hdfs://主机名：9000 </ value> </ property> </ configuration>

/opt/modules/hadoop-2.5.0/etc/hadoop/hdfs-site.xml

<configuration> <property> <name> dfs.replication </ name> <value> 1 </ value> //显示的副本数 </ property> </ configuration>

5、格式化文件系统

bin/hdfs namenode -format

6、启动namenode和datanode

在/opt/modules/hadoop-2.5.0目录下执行

sbin/hadoop-daemon.sh start namenode

sbin/hadoop-daemon.sh start datanode

或者

sbin /start-dfs.sh

7、浏览Web界面以查找NameNode；

http://bigdata-pro01.kfk.com:50070

如页面没加载成功，查看防火墙是否关闭

输入service  iptables stop（暂时关闭防火墙命令）  || 也可永久关闭：chkconfig iptables off

8、伪分布集群

scp -r hadoop-2.5.0/ kfk@bigdata-pro02.kfk.com:/opt/modules/

启动namenode和datanode

sbin/hadoop-daemon.sh start namenode

sbin/hadoop-daemon.sh start datanode

scp -r hadoop-2.5.0/ kfk@bigdata-pro03.kfk.com:/opt/modules/

启动datanode

sbin/hadoop-daemon.sh start datanode