快速配置hadoop环境
快速配置以下四个文件:
- hadoop-env.sh 设置JAVA_HOME
- core-site.xml 设置HDFS访问端口和运行时数据存储位置
- hdfs-site.xml 设置副本数量
- mapred-site.xml设置MR运行方式
#hadoop-env.sh
#The java implementation to use.
export JAVA_HOME=/soft/jdk1.7.0_79
#core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://mr:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/soft/hadoop-2.4.1/tmp</value>
</property>
</configuration>
#hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>
#mapred-site.xml
<configuration>
<!-- 指定mr框架为yarn方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
格式化文件系统:
hdfs namenode -format