Hadoop学习之Centos安装Hadoop和配置

一、确保Centos配置过JDK

二、解压Hadoop（我是使用的虚拟机，在官网上下载好了linux版本的之后，通过FTP传到Home文件夹下的）

三、配置Hadoop

进入hadoop文件夹中的etc下修改配置文件

1》先修改  hadoop-env.sh 文件

将 export JAVA_HOME=${JAVA_HOME} 改为

export JAVA_HOME=/home/jdk/jdk1.8.0_171（jdk的路径）

2》修改 core-site.xml

在节点<configuration>中间插入下面代码：

    

                <property>
                        <name>hadoop.tmp.dir</name> 
                        <value>/home/hadoopHome/tmp</value>
                </property> 
                 <property>                                                                                            
                      <name>fs.defaultFS</name>
                      <value>hdfs://hadoop:8020</value>
                  </property>

                                      

3》修改yarn-site.xml

在节点<configuration>中间插入下面代码：

        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop</value>
        </property>
        <property>
               #指定nodemanager获取数据的方式是shuffle         
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>

4》修改mapred-site.xml

etc中是没有mapred-site.xml这个文件的，将mapred-site.xml.template 重命名为 mapred-site.xml

mv mapred-site.xml.template mapred-site.xml

同上写入代码：

        <property>
                 #hadoop运行在yarn上               
                 <name>mapreduce.framework.name</name>
                 <value>yarn</value>
        </property>

5》修改 hdfs-site.xml

        <property>
                # 指定HDFS保存数据副本的数量，默认为3               
                 <name>dfs.replication</name>
                <value>1</value>
        </property>

三、将hadoop添加到系统变量里

别忘了重启profile

#source /etc/profile

格式化文件系统（hdfs）

#hdfs namenode -format

has been successfully formatted 表示格式化成功了

启动Hadoop

#进入sbin目录下  ./start-all.sh