Hadoop的安装与配置(一)

Hadoop的安装与配置

• 安装版本：
  hadoop-2.6.0-cdh5.14.2.tar.gz

• 第一步：tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C /指定解压路径

• 第二步：vi /etc/profile //配置环境变量

export HADOOP_HOME=hadoop路径
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_INSTALL=$HADOOP_HOME
export PATH=../../:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

//以下配置文件都在Hadoop安装目录/etc/hadoop/路径下

• 第三步：vi core-site.xml
  增加内容在中间：

		<property>
                <name>fs.defaultFS</name>
                <value>hdfs://本机IP地址:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>opt/hadoop/tmp</value>
        </property>

• 第四步：vi hdfs.site.xml
  增加内容在中间：

		<property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
		<property>
				<name>dfs.namenode.name.dir</name>
				#hadoop安装路径/data/namenode
				<value>/opt/hadoop/data/namenode</value> 
		</property>
		<property>
				<name>dfs.datanode.data.dir</name>
				#hadoop安装路径/data/datanode
				<value>/opt/hadoop/data/datanode</value>
		</property>
		

• 第五步：vi hadoop-env.sh

修改export JAVA_HOME=${JAVA_HOME} //因为这段内容无法找到java所处位置
修改为：
export JAVA_HOME=java路径 //自己安装的java路径

• 第六步：vi mapred-site.xml
  增加内容在中间：

		<property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

• 第七步：vi yarn-site.xml
  增加内容在中间：

<property>
        <name>yarn.resourcemanager.localhost</name>
        <value>本机IP地址</value>
</property>
<property>
        <name>yarn.nodemanager.aux-service</name>
        <value>mapreduce_shuffle</value>
</property>

• 第八步：hdfs namenode -format //格式化HDFS
• 第九步：start-all.sh //启动服务
• 第十步：http://本机地址:50070 //HDFS页面