Hadoop的安装——配置文件

Hadoop的安装——配置文件

环境

主节点master信息：

操作系统：CentOS7.5

软件包位置：/home/zkpk/tgz

数据包位置：/home/zkpk/experiment

已安装软件：无

配置hadoop-env.sh文件

1、使用gedit命令修改hadoop-env.sh文件

[zkpk@master ~]$ gedit /home/zkpk/hadoop-2.7.3/etc/hadoop/hadoop-env.sh

2、修改JAVA_HOME环境变量

export JAVA_HOME=/usr/java/jdk1.8.0_131/

配置yarn-env.sh文件

1、使用gedit命令修改yarn-env.sh文件

[zkpk@master ~]$ gedit ~/hadoop-2.7.3/etc/hadoop/yarn-env.sh

2、修改JAVA_HOME环境变量

export JAVA_HOME=/usr/java/jdk1.8.0_131/

配置core-site.xml文件

1、使用gedit命令修改core-site.xml文件

[zkpk@master ~]$ gedit  ~/hadoop-2.7.3/etc/hadoop/core-site.xml

2、用下面的代码替换core-site.xml中的内容：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/zkpk/hadoopdata</value>
    </property>
</configuration>

配置hdfs-site.xml文件

1、使用gedit命令修改hdfs-site.xml文件

[zkpk@master ~]$ gedit  ~/hadoop-2.7.3/etc/hadoop/hdfs-site.xml

2、用下面的代码替换hdfs-site.xml中的内容：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
</configuration>

配置yarn-site.xml文件

1、使用gedit命令修改yarn-site.xml文件

[zkpk@master ~]$ gedit  ~/hadoop-2.7.3/etc/hadoop/yarn-site.xml

2、用下面的代码替换yarn-site.xml中的内容：

 <?xml version="1.0"?>
 <configuration>
   <property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
   </property>
   <property>
     <name>yarn.resourcemanager.address</name>
     <value>master:18040</value>
   </property>
   <property>
     <name>yarn.resourcemanager.scheduler.address</name>
     <value>master:18030</value>
   </property>
   <property>
     <name>yarn.resourcemanager.resource-tracker.address</name>
     <value>master:18025</value>
   </property>
   <property>
     <name>yarn.resourcemanager.admin.address</name>
     <value>master:18141</value>
   </property>
   <property>
     <name>yarn.resourcemanager.webapp.address</name>
     <value>master:18088</value>
   </property>
 </configuration>

配置mapred-site-template.xml文件

1、复制mapred-site-template.xml文件：

[zkpk@master ~]$ cp ~/hadoop-2.7.3/etc/hadoop/mapred-site.xml.template ~/hadoop-2.7.3/etc/hadoop/mapred-site.xml

2、使用gedit编辑mapred-site.xml文件：

[zkpk@master ~]$ gedit ~/hadoop-2.7.3/etc/hadoop/mapred-site.xml

3、用下面的代码替换mapred-site.xml中的内容

 <?xml version="1.0"?>
 <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
 <configuration>
   <property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
   </property>
 </configuration>