Apache Hadoop 安装

Apache Hadoop 安装过程
tar -zxvf hadoop-2.7.0 -C ...
其中关键的文件夹为 bin sbin 和 etc
一、修改配置文件
1.1 vim Hadoop-env.sh
$JAVA_HOME的路径拷贝到export JAVA_HOME=...
1.2 vim core-site.xml
<property>
<!-- 指定namenode的地址 -->
<name>fs.defaultFS</name>
<value>hdfs://`hostname`:9000</value>
</property>
<property>
<!-- 用来指定Hadoop运行时产生文件的存放目录 -->
<name>hadoop.tmp.dir</name>
<value>$HADOOP_HOME/tmp</value>
</property>


1.3 vim hdfs-site.xml
<property>
<!-- 指定HDFS保存的数据副本的数目 -->
<name>dfs.replication</name>
<value>1</value>
</property>


1.4 mv mapred-site.xml.template  mapred-site.xml
    vim mapred-site.xml
<property>
<!-- 指定MR运行在YARN上 -->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>


1.5 vim yarn-site.xml
<property>
<!-- Nodemanager获取数据的方式为shuffle -->
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<!-- 指定YARN的领导的地址 -->
<name>yarn.resourcemanager.hostname</name>
<value>`hostname`</value>
</property>


二、配置Hadoop环境变量
2.1 vim /etc/profile
echo "export HADOOP_HOME=/..">>/etc/profile
echo "export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin"
source /etc/profile


三、格式化文件系统
#hadoop namenode -format(过时了)
#hdfs namenode -format
产生了tmp目录


四、启动Hadoop sbin中的脚步
./start-all.sh